[論文レビュー] Adaptive Weighting Multi-Field-of-View CNN for Semantic Segmentation in Pathology

Hiroki Tokunaga, Yuki Teramoto+2 more|arXiv (Cornell University)|Apr 12, 2019

AI in cancer detection参考文献 37被引用数 7

ひとこと要約

本論文は、学習可能な重み付け機構を用いて複数の倍率（5x、10x、20x）からの特徴を適応的に統合する、新しいセマンティックセグメンテーションフレームワークであるAdaptive-Weighting-Multi-Field-of-View CNN（AWMF-CNN）を提案する。エキスパートネットワークと統合ネットワークを同時に学習させることで、エキスパート同士の補完的特化を実現し、4クラスの肺アデノカインオーマ亜型セグメンテーションタスクにおいて、最良の単一倍率ベースライン（DeepLabv3+ 20x）よりも5.36%のmIoU向上を達成した。

ABSTRACT

Automated digital histopathology image segmentation is an important task to help pathologists diagnose tumors and cancer subtypes. For pathological diagnosis of cancer subtypes, pathologists usually change the magnification of whole-slide images (WSI) viewers. A key assumption is that the importance of the magnifications depends on the characteristics of the input image, such as cancer subtypes. In this paper, we propose a novel semantic segmentation method, called Adaptive-Weighting-Multi-Field-of-View-CNN (AWMF-CNN), that can adaptively use image features from images with different magnifications to segment multiple cancer subtype regions in the input image. The proposed method aggregates several expert CNNs for images of different magnifications by adaptively changing the weight of each expert depending on the input image. It leverages information in the images with different magnifications that might be useful for identifying the subtypes. It outperformed other state-of-the-art methods in experiments.

研究の動機と目的

• 全スライド画像（WSI）における複数の肺アデノカインオーマ亜型をセグメンテーションする課題に対処すること。ここで、異なる倍率は補完的な診断的手がかりを提供する。
• 固定フィールドオブビューのパッチベース手法の限界、すなわち文脈情報と解像度のトレードオフを失う問題を克服すること。
• 病理医が適応的に倍率を切り替えるのを模倣する深層学習フレームワークを開発すること。入力画像の特徴に基づき、複数スケールの特徴を動的に重み付けすることで実現する。
• エキスパートの特化と補完的予測を最適化する統合重みを学習するエンドツーエンドの訓練により、セグメンテーション精度を向上させること。
• U-Net、SegNet、Dilated-Net、DeepLabv3+など、多様なバックボーンネットワークへの適用を通じて汎用性を実証すること。

提案手法

• 本手法は、それぞれ特定の倍率（5x、10x、20x）の画像で事前学習された複数のエキスパートCNNを用い、マルチスケール特徴を抽出する。
• 学習可能な統合ネットワークは、入力画像に応じて各エキスパートのセグメンテーション出力に動的重みを割り当て、文脈に配慮した特徴集約を実現する。
• エキスパートネットワークと統合モジュールを同時に最適化するエンドツーエンドの訓練により、エキスパート間の補完的予測行動を促進する。
• 統合ネットワークは、各倍率が現在の入力に対してどれほど関連性があるかを反映する重みを計算するために、微分可能アテンション機構を用いる。
• 本フレームワークはアーキテクチャに依存せず、エキスパートネットワークを任意のアーキテクチャに置き換えることで、任意のセグメンテーションバックボーンに適用可能である。
• 病理データにおける亜型分布の不均衡に対処するため、クラスバランス重み付きの交差エントロピー損失を用いてモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 単一倍率モデルと比較して、多倍率特徴の適応的統合は、肺アデノカインオーマ亜型のセマンティックセグメンテーション性能を向上させるか？
• RQ2 エンドツーエンドの訓練は、異なる倍率におけるエキスパートネットワークの特化と補完的行動にどのように影響を与えるか？
• RQ3 本手法は、U-Net や DeepLabv3+ などの異なるセグメンテーションネットワークアーキテクチャにどの程度一般化可能か？
• RQ4 適応的重み付け機構は、文脈と解像度の両方が重要となるレア亜型（例：マイクロパピリーラ型）の性能向上に寄与するか？
• RQ5 モデルは、高解像度特徴と広視野特徴のどちらを優先すべきかを学習することで、フィールドオブビューと解像度のトレードオフを効果的にバランスできるか？

主な発見

• AWMF-CNNは、4クラス亜型セグメンテーションタスクにおいて、最良の単一倍率ベースライン（DeepLabv3+ 20x）よりも5.36%のmIoU向上を達成した。
• エンドツーエンドの訓練により、個別に事前学習されたエキスパートと比較して、正しい予測の和集合が7%向上し、補完的行動の向上が示された。
• Hard-Switch-CNNを含む最先端手法を上回り、4クラスセグメンテーションベンチマークで0.031 mIoUの向上を達成した。
• U-NetおよびDilated-Netバックボーンを用いた場合、最良の個別エキスパートネットワークよりも15.7–16.0%の性能向上を達成した。
• モデルは強力な汎用性を示し、全テストバックボーンネットワークにおいて、最良の単一倍率エキスパートを3–16%上回るmIoU向上を達成した。
• 可視化結果から、統合ネットワークが、5xを広範囲の文脈特徴（例：リピディック型と正常を区別）に、20xを微細な詳細特徴（例：マイクロパピリーラ型とアーシナ型を区別）に優先して使用していることが明らかになった。これは病理医の行動と整合的である。