[論文レビュー] Three Applications of Conformal Prediction for Rating Breast Density in Mammography

Charles Lu, Ken Chang+2 more|arXiv (Cornell University)|Jun 23, 2022

AI in cancer detection被引用数 5

ひとこと要約

本稿では、マンモグラフィにおける乳房密度評価の自動化にコンフォーマル予測を適用し、分布シフト検出のための不確実性の定量化、選択的分類による予測品質の向上、およびサブグループ間の公平性の評価においてその有効性を示している。結果として、コンフォーマル予測は、理論的保証と性能および公平性の明確な向上を伴い、深層学習モデルの信頼性と臨床的有用性を高めることを示した。

ABSTRACT

Breast cancer is the most common cancers and early detection from mammography screening is crucial in improving patient outcomes. Assessing mammographic breast density is clinically important as the denser breasts have higher risk and are more likely to occlude tumors. Manual assessment by experts is both time-consuming and subject to inter-rater variability. As such, there has been increased interest in the development of deep learning methods for mammographic breast density assessment. Despite deep learning having demonstrated impressive performance in several prediction tasks for applications in mammography, clinical deployment of deep learning systems in still relatively rare; historically, mammography Computer-Aided Diagnoses (CAD) have over-promised and failed to deliver. This is in part due to the inability to intuitively quantify uncertainty of the algorithm for the clinician, which would greatly enhance usability. Conformal prediction is well suited to increase reliably and trust in deep learning tools but they lack realistic evaluations on medical datasets. In this paper, we present a detailed analysis of three possible applications of conformal prediction applied to medical imaging tasks: distribution shift characterization, prediction quality improvement, and subgroup fairness analysis. Our results show the potential of distribution-free uncertainty quantification techniques to enhance trust on AI algorithms and expedite their translation to usage.

研究の動機と目的

• 深層学習モデルの乳房密度評価に対する臨床的信頼の低さが、不確実性の定量化がなされていないことに起因するという臨床的課題に対処すること。
• コンフォーマル予測を、実際の医療画像データセットにおける不確実性定量化の分布フリーな手法として評価すること。
• 3つの実用的応用の実証：分布シフトの検出、選択的分類による予測品質の向上、サブグループの公平性分析。
• 臨床医が解釈可能で理論的根拠を持つ不確実性推定を提供し、臨床意思決定を支援すること。

提案手法

• コンフォーマル予測は、深層学習モデル（EfficientNet-B3）のソフトマックス出力から導出される非適合性スコアを用いて適用された。
• 予測集合は、テストサンプルを非適合性スコアの順にランク付けし、保持された検証セットでキャリブレーションすることで構築された。
• 分布シフト分析のため、内部（DMIST）と外部（MGH）のテストセットにおける予測集合サイズを比較し、性能の低下を検出した。
• 選択的分類は、高い不確実性（集合サイズ = 4）を示す予測を延期することで適用され、Cohenの kappa などの全体的な性能指標が向上した。
• 公平性分析は、年齢、人種、乳房サイズ、スキャナータイプごとに個別にコンフォーマル予測をキャリブレーションすることで実施され、不確実性の格差を検出した。
• サブグループ間の予測集合サイズの差の統計的有意性は、p値（p < 0.001）を用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 コンフォーマル予測は、多施設のマンモグラフィデータにおいて分布シフトを効果的に検出できるか？
• RQ2 コンフォーマル予測を用いた選択的分類によって、自動乳房密度予測の品質はどの程度向上するか？
• RQ3 年齢、人種、乳房サイズ、スキャナータイプなどの臨床的に関連するサブグループ間で、不確実性の測定可能な格差は存在するか？
• RQ4 コンフォーマル予測の不確実性定量化は、実臨床環境における標準的な深層学習モデルと比較してどのように異なるか？

主な発見

• α = 0.05 の条件下で、コンフォーマル予測は被覆違反を 0.07 に低減した一方、選択的分類により Cohen の kappa を 0.61 から 0.72 に向上させたが、予測の 56% を延期した。
• 外部テストセット（MGH）では、内部テストセット（DMIST）と比較して有意に大きい予測集合サイズと頻度の高い全集合予測（サイズ 4）が観察され、分布シフトの兆候が示された。
• サブグループ分析では、大きな乳房を持つ患者、ラテン系／ヒスパニック系の患者、50歳以上の人、スキャナータイプ B でスキャンされた患者において、平均予測集合サイズに統計的に有意な差（p < 0.001）が認められた。
• 外部テストセットでは、濃厚な乳房（dense breast）カテゴリの平均集合サイズが最も高く、このクラスにおける一般化の不確実性が高まっている可能性を示唆した。
• コンフォーマル予測フレームワークは、年齢や乳房容積といった既知の交絡要因に関連する臨床的に重要な不確実性のパターンを効果的に同定した。
• 本研究は、コンフォーマル予測が、信頼性と公平性を高めるために、解釈可能で理論的根拠を持つ不確実性推定を提供できることを示した。