[論文レビュー] Residual Block-based Multi-Label Classification and Localization Network with Integral Regression for Vertebrae Labeling

Chunli Qin, Demin Yao+4 more|arXiv (Cornell University)|Jan 1, 2020

Medical Imaging and Analysis参考文献 32被引用数 8

ひとこと要約

本稿では、CTスキャンにおける椎骨の正確なラベリングを実現するため、残留ブロックに基づくマルチラベル分類および局在化ネットワークと、統合回帰を組み合わせた手法を提案する。マルチスケール特徴抽出、スキップ接続、および統合回帰による微分可能キーポイント回帰を組み合わせることで、エンド・ツー・エンドの学習が可能となり、平均局在誤差が3mm未満に抑えられ、最先端手法を上回る性能を達成した。

ABSTRACT

Accurate identification and localization of the vertebrae in CT scans is a critical and standard preprocessing step for clinical spinal diagnosis and treatment. Existing methods are mainly based on the integration of multiple neural networks, and most of them use the Gaussian heat map to locate the vertebrae's centroid. However, the process of obtaining the vertebrae's centroid coordinates using heat maps is non-differentiable, so it is impossible to train the network to label the vertebrae directly. Therefore, for end-to-end differential training of vertebra coordinates on CT scans, a robust and accurate automatic vertebral labeling algorithm is proposed in this study. Firstly, a novel residual-based multi-label classification and localization network is developed, which can capture multi-scale features, but also utilize the residual module and skip connection to fuse the multi-level features. Secondly, to solve the problem that the process of finding coordinates is non-differentiable and the spatial structure is not destructible, integral regression module is used in the localization network. It combines the advantages of heat map representation and direct regression coordinates to achieve end-to-end training, and can be compatible with any key point detection methods of medical image based on heat map. Finally, multi-label classification of vertebrae is carried out, which use bidirectional long short term memory (Bi-LSTM) to enhance the learning of long contextual information to improve the classification performance. The proposed method is evaluated on a challenging dataset and the results are significantly better than the state-of-the-art methods (mean localization error <3mm).

研究の動機と目的

• ヒートマップベースの座標回帰の非微分可能性を克服するため、CTスキャンにおける椎骨ラベリングのためのエンド・ツー・エンドで微分可能なフレームワークの開発を目的とする。
• 残留ブロックとスキップ接続を用いたマルチスケール特徴の統合により、局在精度の向上を図ることを目的とする。
• 双方向LSTM（Bi-LSTM）を用いて長距離の文脈的依存関係をモデル化することで、分類性能の向上を図ることを目的とする。
• 空間的構造を保持したまま、椎骨中心座標の直接的かつ微分可能な回帰を可能とすることを目的とする。

提案手法

• マルチスケール特徴を捉え、スキップ接続による多段階表現の融合を実現する、残留ベースのマルチラベル分類および局在化ネットワークを設計した。
• 統合回帰モジュールは、従来のヒートマップピーク検出を微分可能な演算に置き換え、座標予測のエンド・ツー・エンド学習を可能にした。
• 局在ヘッドでは、統合回帰を用いて確率分布の重み付き和として椎骨中心座標を計算し、プロセスを微分可能にした。
• 分類ヘッドに双方向LSTM（Bi-LSTM）を統合し、椎骨間の長距離の文脈的関係をモデル化し、ラベル予測精度の向上を図った。
• 分類と局在の両方の損失関数を組み合わせた損失関数を用いて、ネットワークをエンド・ツー・エンドで学習した。
• 本手法は、任意のヒートマップベースのキーポイント検出フレームワークと互換性があり、既存のパイプラインへの柔軟な統合を可能にした。

実験結果

リサーチクエスチョン

• RQ1 CTスキャンにおける椎骨中心座標予測のエンド・ツー・エンド学習を可能にするために、微分可能な局在モジュールを設計できるか？
• RQ2 マルチスケールおよびマルチレベル特徴を効果的に統合することで、局在精度を向上させられるか？
• RQ3 文脈的シーケンスのBi-LSTMモデリングが、マルチラベル椎骨分類にどの程度の向上効果をもたらすか？
• RQ4 局在精度と学習安定性の観点から、統合回帰は従来のヒートマップピーク検出を上回るか？
• RQ5 困難な椎骨ラベリングベンチマークにおいて、本手法は最先端の手法と比較してどの程度の性能を示すか？

主な発見

• 提案手法は、挑戦的なCTデータセットにおいて平均局在誤差が3mm未満に抑えられ、既存の最先端手法を顕著に上回った。
• 統合回帰モジュールにより、微分可能な座標回帰が実現され、非微分可能な後処理に依存しないエンド・ツー・エンド学習が可能になった。
• 残留ブロックとスキップ接続の統合により、特徴表現学習の向上と局在のロバスト性が向上した。
• 分類ヘッドにBi-LSTMを用いることで、椎骨間の長距離の文脈的関係をモデル化し、性能向上が達成された。
• 本手法は、優れた一般化性能を示し、さまざまなヒートマップベースのキーポイント検出アプローチとの高い互換性を有していた。