[論文レビュー] Bilateral Asymmetry Guided Counterfactual Generating Network for Mammogram Classification

Churan Wang, Jing Li+5 more|arXiv (Cornell University)|Sep 30, 2020

AI in cancer detection参考文献 52被引用数 20

ひとこと要約

本稿では、画像レベルのラベルのみを用いてマンモグラム分類を行うために、二重対称性を考慮した反事後的生成ネットワーク（CGN）を提案する。解剖学的対称性の事前知識（両側乳房の対応領域に病変がまれに現れる）を活用し、敵対的訓練と分類損失からのフィードバックを用いて、同時に病変局在化と分類を最適化するGANベースのフレームワークにより反事後的特徴を生成する。本手法はINBreastおよび自社内データセットにおいて最先端の性能を達成し、特徴レベルでの精度が91.0%に達し、画像レベルでの生成よりも高速な学習を実現した。

ABSTRACT

Mammogram benign or malignant classification with only image-level labels is challenging due to the absence of lesion annotations. Motivated by the symmetric prior that the lesions on one side of breasts rarely appear in the corresponding areas on the other side, given a diseased image, we can explore a counterfactual problem that how would the features have behaved if there were no lesions in the image, so as to identify the lesion areas. We derive a new theoretical result for counterfactual generation based on the symmetric prior. By building a causal model that entails such a prior for bilateral images, we obtain two optimization goals for counterfactual generation, which can be accomplished via our newly proposed counterfactual generative network. Our proposed model is mainly composed of Generator Adversarial Network and a \emph{prediction feedback mechanism}, they are optimized jointly and prompt each other. Specifically, the former can further improve the classification performance by generating counterfactual features to calculate lesion areas. On the other hand, the latter helps counterfactual generation by the supervision of classification loss. The utility of our method and the effectiveness of each module in our model can be verified by state-of-the-art performance on INBreast and an in-house dataset and ablation studies.

研究の動機と目的

• 画像レベルのラベルのみを用いてマンモグラムの良性／悪性分類を実現し、高コストな病変アノテーションを回避すること。
• 解剖学的対称性の事前知識（両側乳房の対応領域に病変が現れにくい）を、病変局在化のためのドメイン特化されたインダクティブバイアスとして活用すること。
• 対称性に基づく因果モデルを用いて、病変がない状態の画像がどのように見えるかをシミュレートする反事後的特徴を生成すること。
• 分類損失からのフィードバック機構を用いて、反事後的生成と分類を同時に最適化することで、解釈可能性と性能の両方を向上させること。

提案手法

• 二重対称性をモデル化するための隠れ交絡要因を有する構造的因果モデル（SCM）を提案し、反事後的特徴が病変のない領域で基準特徴と一致することを保証する。
• ピクセルレベルのアライメント問題を回避するため、特徴空間で動作する新しい反事後的生成ネットワーク（CGN）を導入する。
• 生成器・敵対的ネットワークにフィードバック機構を組み合わせる：分類損失が反事後的生成をガイドし、生成された特徴が分類性能を向上させる。
• 三つ組損失（LF T）を用いて、元の特徴、反事後的特徴、基準特徴の整合性を強制し、敵対的損失と再構成損失を併用する。
• 複数の損失を同時に最適化する：LG（生成器）、LD（識別器）、LNE（正規化）、LFC（特徴整合性）、LCLS（分類）。
• アライメントのために基準画像に水平反転を適用し、可視化のために256個の特徴チャネルにわたるマックスプーリングを実施する。

実験結果

リサーチクエスチョン

• RQ1 二重対称性の事前知識を形式的に活用することで、マンモグラムにおける病変局在化に意味のある反事後的特徴を生成できるか？
• RQ2 構造的因果モデル（SCM）を用いて、医療画像における反事後的生成を因果推論問題としてどのように定式化できるか？
• RQ3 反事後的生成と分類の共同最適化により、画像レベルのラベルのみを用いた教師ありベースラインを上回る性能が達成できるか？
• RQ4 特徴レベルでの反事後的生成は、精度と学習速度の面で画像レベルでの生成を上回るか？

主な発見

• 提案手法のCGNは、AlexNetを用いたINBreastデータセットにおける腫瘍分類で91.0%のAUCを達成し、すべての変種およびベースラインを上回った。
• ResNet50を用いた混合病変分類において、INBreastでは88.5%のAUC、自社内データセットでは78.1%のAUCを達成し、病変タイプにわたる頑健性を示した。
• アブレーションスタディの結果、敵対的損失またはフィードバック三つ組損失を削除すると性能が低下することが確認され、両者の必要性が裏付けられた。
• 特徴レベルでの反事後的生成は、1エポックあたり6.6秒で91.0%の精度を達成し、画像レベルでの生成（1エポックあたり23.5秒）よりも顕著に高速であった。
• 可視化結果から、生成された反事後的特徴が病変関連の活性化を効果的に抑制している一方で、残差特徴における文脈的情報を保持していることが示された。
• 既存の二重比較手法（SBF、GF、SFF）を明確に上回り、単なる特徴統合よりも反事後的学習の優位性が実証された。