[論文レビュー] Weakly-Supervised Localization and Classification of Proximal Femur Fractures

Amelia Jiménez-Sánchez, Anees Kazi+6 more|arXiv (Cornell University)|Sep 27, 2018

COVID-19 diagnosis using AI参考文献 15被引用数 3

ひとこと要約

本稿では、画像レベルのラベルのみを用いて、レントゲン画像における大腿骨近位部骨折の同時局所化と分類を実現する弱教師付き深層学習フレームワークを提案する。空間変換器、自己転送学習、およびグローバルプーリングを用いた局所化を統合することで、追加のバウンディングボックスアノテーションを必要とせずに分類精度が向上し、ベースライン比最大7%の向上を達成した。これは、弱教師付き局所化が階層的AO骨折分類における性能と解釈可能性を向上させることを示している。

ABSTRACT

In this paper, we target the problem of fracture classification from clinical X-Ray images towards an automated Computer Aided Diagnosis (CAD) system. Although primarily dealing with an image classification problem, we argue that localizing the fracture in the image is crucial to make good class predictions. Therefore, we propose and thoroughly analyze several schemes for simultaneous fracture localization and classification. We show that using an auxiliary localization task, in general, improves the classification performance. Moreover, it is possible to avoid the need for additional localization annotations thanks to recent advancements in weakly-supervised deep learning approaches. Among such approaches, we investigate and adapt Spatial Transformers (ST), Self-Transfer Learning (STL), and localization from global pooling layers. We provide a detailed quantitative and qualitative validation on a dataset of 1347 femur fractures images and report high accuracy with regard to inter-expert correlation values reported in the literature. Our investigations show that i) lesion localization improves the classification outcome, ii) weakly-supervised methods improve baseline classification without any additional cost, iii) STL guides feature activations and boost performance. We plan to make both the dataset and code available.

研究の動機と目的

• AO分類システムに準拠した大腿骨近位部骨折分類の精度を深層学習を用いて向上させること。
• 全画像分類と比較して、骨折領域を局所化することで分類性能が向上するかどうかを調査すること。
• 弱教師付き手法を活用して画像レベルラベルからの局所化を推論することで、アノテーション負荷を低減すること。
• 医療画像分類の文脈において、複数の弱教師付き局所化手法を評価・比較すること。
• 追加の監視なしに注目マップや局所化ヒートマップを用いてモデルの解釈性を向上させること。

提案手法

• 分類と局所化を同時に最適化するためのマルチタスク学習フレームワークを採用し、深層ニューラルネットワークを用いる。
• 入力X線画像から骨折領域に注目するための空間的変換を学習するため、空間変換器（ST）を用いる。
• 局所化と分類を並列かつ微分可能にエンドツーエンドで学習可能にするために、自己転送学習（STL）を適応する。
• 専用の局所化ヘッドに代わる軽量な代替手法として、グローバルプーリング層による局所化を検討する。
• 分類にのみ全画像を用いるベースラインモデル（LBM）を実装し、性能の基準として用いる。
• 勾配が分類損失から逆伝播されることで、バウンディングボックスアノテーションを必要とせずに、局所化を暗黙的に学習する弱教師付き学習スキームを採用する。

実験結果

リサーチクエスチョン

• RQ1 弱教師付き局所化を組み込むことで、大腿骨近位部X線画像におけるAO骨折分類の性能が向上するか？
• RQ2 弱教師付き局所化手法の分類精度および局所化品質は、完全教師あり局所化と比較してどの程度優れているか？
• RQ3 注目ベースの局所化は、モデルの解釈性および意思決定の透明性をどの程度向上させるか？
• RQ4 自己注意メカニズム（例：自己転送学習（STL））は、標準的な弱教師付きベースラインを上回る特徴学習を促進し、分類性能を向上させるか？
• RQ5 細分化された分類（6クラスAOシステム）において、局所化の影響は何か。特に、専門家間の合意が低い状況下でどうか？

主な発見

• 局所化は分類性能を顕著に向上させ、正解バウンディングボックスを用いた場合、全画像分類と比較して平均9%の精度向上を達成した。
• 自己転送学習（STL）などの弱教師付き手法は、追加のアノテーションなしにベースラインモデル（LBM）比で7%の性能向上を達成した。
• 最高性能を示したモデルは、局所化の平均平均精度（mAP）が0.47に達したが、IoUベースの指標はスケール誤差に対して過敏である可能性がある。
• 弱教師付き局所化を用いたモデルは、骨折領域を強調する解釈可能な注目マップを生成し、臨床的信頼性とモデルの透明性を向上させた。
• STLは、局所化と分類の両面で他の弱教師付き手法を上回り、局所化と分類の並列的・統合的最適化がその要因と考えられる。
• 正解ボックスを用いた「Sup. Loc.」モデルが最高の性能を示し、特に6クラス分類では性能が評価者間の合意範囲（66–71%）を下回っていることから、局所化が細分化AO分類において極めて重要であることが確認された。