[論文レビュー] Cost-Sensitive Active Learning for Intracranial Hemorrhage Detection

Weicheng Kuo, Christian Häne+3 more|arXiv (Cornell University)|Sep 8, 2018

Machine Learning and Algorithms参考文献 10被引用数 9

ひとこと要約

本稿では、ラベル付けのコストとその変動を考慮したアクティブラーニングフレームワークを提案し、イントラクラニアルヘモリシス検出の分野に適用する。このフレームワークは、クエリ・バイ・コミ mit（QBC）による不確実性推定と、ラベル付けに要する時間を事前に予測する手法を組み合わせ、ラベル付け投資のリターンを最適化する。ラベル付け時間の変動をモデル化し、予算制約下での最適選択を0-1ナップサック問題として解くことで、均一コストのアクティブラーニングよりも10%高いスタックレベルの平均適合率を達成した。また、メモリ使用量が少なく、処理速度も速い。

ABSTRACT

Deep learning for clinical applications is subject to stringent performance requirements, which raises a need for large labeled datasets. However, the enormous cost of labeling medical data makes this challenging. In this paper, we build a cost-sensitive active learning system for the problem of intracranial hemorrhage detection and segmentation on head computed tomography (CT). We show that our ensemble method compares favorably with the state-of-the-art, while running faster and using less memory. Moreover, our experiments are done using a substantially larger dataset than earlier papers on this topic. Since the labeling time could vary tremendously across examples, we model the labeling time and optimize the return on investment. We validate this idea by core-set selection on our large labeled dataset and by growing it with data from the wild.

研究の動機と目的

• 頭部CTスキャンにおける脳内出血の画像分類において、専門家によるラベル付けの高コストとその変動性を解決すること。
• 症例ごとのラベル付け時間の変動をモデル化することで、アクティブラーニングの性能を向上させること。ラベル付け時間は最大3桁の違いを示すことがある。
• ラベル付け時間単位あたりのモデル性能を最大化するコスト感受性アクティブラーニングシステムの開発。
• 29,095フレームにわたる大規模なピクセル単位のラベル付け済みデータセットを用いて、本手法の妥当性を検証すること。これは、従来のMICCAIベンチマークよりもはるかに大きな規模である。
• 臨床現場からの現実の未ラベル付きデータプールを用いて、ラベル付きデータセットを拡張する際の本手法の実用性と、高い投資対効果を示すこと。

提案手法

• 初期セットで学習したアンサンブル型のPatchFCNを用い、モデル予測のジェンセン・シャノン発散を用いて、クエリ・バイ・コミット（QBC）による不確実性推定を実行する。
• ピクセル単位の予測結果を連結成分解析で領域にグループ化し、境界長と成分数を算出し、これらをロジスティック回帰モデルの特徴量として用い、ラベル付け時間を予測する。
• 各スタックの不確実性は、上位K個の不確実性の高いパッチの不確実性の合計として定義され、各スタックごとにラベル付け時間を推定する。
• 固定されたラベル付け予算Qが与えられた場合、各スタックに重さ（ラベル付け時間）と価値（不確実性）を割り当て、動的計画法を用いて0-1ナップサック問題を解き、最適なスタックの集合を選択する。
• 本手法は、大規模な未ラベル付きデータプールから繰り返し適用され、訓練データセットが拡張される。選択された症例は神経放射線科医による検証を経る。
• ドメインシフトの耐性を評価するため、元の初期セットおよび未ラベル付きプールの両方で性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 コスト感受性アクティブラーニングは、脳内出血検出において、ラベル付け時間の最小化を図りながらモデル性能を向上させることができるか？
• RQ2 ラベル付け時間の変動をモデル化することで、選択されたトレーニング例の多様性と情報量はどのように変化するか？
• RQ3 同じラベル付け予算下で、本手法は均一コストのアクティブラーニングやランダム選択よりも優れた性能を達成するか？
• RQ4 コスト感受性アクティブラーニングは、最小限の人的ラベル付け作業で、大規模な医療データセットを効率的にスケーリングできるか？
• RQ5 臨床現場の実際の未ラベル付きデータに本システムを適用した場合、その性能はどの程度であるか？

主な発見

• コスト感受性アクティブラーニングシステムは、均一コストのアクティブラーニングよりも、未ラベル付きプールのスタックレベル平均適合率で10%高い性能を達成した。初期段階では20%の改善が見られた。
• 最初の2ラウンドで、本システムは107個中94個のスタックを選択した。これは、均一コストのALが11個中8個しか選択しなかったのと比較して、より多様な選択を示している。特に、長時間ラベル付けがかかる大規模な出血症例に偏らない。
• 拡張されたデータセット（S_trainval ∪ U_train）で学習したモデルは、U_testで90.1%の平均適合率を達成し、S_trainvalでのみ学習したベースラインモデル（85.1%）よりも5ポイント高い性能を示した。
• 選択された179例（陰性115例、陽性64例）の実際のラベル付け時間は、予測値から10%以内に収まっており、時間予測モデルの正確性が裏付けられた。
• 本手法は、すべての指標でランダムベースライン選択を上回った。特に初期段階では、ランダムベースラインは初期セットの性能向上を示さなかった。
• 本手法は、従来の最先端手法よりも高速かつ低メモリ使用量であり、標準のMICCAIベンチマークよりも2桁大きい規模のデータセットでも、同等またはより優れた性能を達成した。