[論文レビュー] Look, Investigate, and Classify: A Deep Hybrid Attention Method for Breast Cancer Classification

Bolei Xu, Jingxin Liu+7 more|arXiv (Cornell University)|Feb 28, 2019

AI in cancer detection参考文献 12被引用数 6

ひとこと要約

本論文では、乳がん組織画像分類のための深層ハイブリッドアテンションネットワークを提案する。このネットワークは、人間の視覚的認知を模倣し、強化学習で最適化されたハードアテンション機構を用いて情報量の多い画像パッチを選択的に抽出し、その後にソフトアテンション機構で異常特徴を強調する。これにより、元の画像ピクセルの15%しか処理しなくても96%の正確性を達成する。

ABSTRACT

One issue with computer based histopathology image analysis is that the size of the raw image is usually very large. Taking the raw image as input to the deep learning model would be computationally expensive while resizing the raw image to low resolution would incur information loss. In this paper, we present a novel deep hybrid attention approach to breast cancer classification. It first adaptively selects a sequence of coarse regions from the raw image by a hard visual attention algorithm, and then for each such region it is able to investigate the abnormal parts based on a soft-attention mechanism. A recurrent network is then built to make decisions to classify the image region and also to predict the location of the image region to be investigated at the next time step. As the region selection process is non-differentiable, we optimize the whole network through a reinforcement approach to learn an optimal policy to classify the regions. Based on this novel Look, Investigate and Classify approach, we only need to process a fraction of the pixels in the raw image resulting in significant saving in computational resources without sacrificing performances. Our approach is evaluated on a public breast cancer histopathology database, where it demonstrates superior performance to the state-of-the-art deep learning approaches, achieving around 96\% classification accuracy while only 15% of raw pixels are used.

研究の動機と目的

• 大きな生画像サイズに起因する深層学習ベースの組織画像解析における計算非効率性と情報損失を解消すること。
• リサイズやランダムクロップを伴わずに、全スライド画像内の関連領域を効果的に選択的に注目する手法を開発すること。
• 粗い領域選択（見る）、詳細な特徴調査（調査）、分類（分類）の組み合わせにより、人間の診断行動を模倣すること。
• 強化学習による領域選択ポリシーの最適化を通じて、計算コストを最小限に抑えながら分類精度を向上させること。
• 最先端の手法と比較して、公的組織画像データセット上で優れた性能を示すこと。

提案手法

• 分類タスクを部分的に観測可能なマルコフ意思決定過程（POMDP）として定式化し、画像領域における逐次的意思決定を可能にする。
• 各時刻に生の全スライド画像から関連性の高い粗い画像パッチを選択するハードアテンション機構を実装する。
• 学習されたアテンションマップを用いて、各選択されたパッチ内での病変関連特徴を強調するソフトアテンションネットワーク（SA-Net）を適用する。
• 完全結合型の統合ネットワークを用いて、ソフトアテンション特徴と空間的位置情報を統合し、文脈に適した特徴を生成する。
• 長短期記憶（LSTM）ネットワークを用いて特徴を処理し、画像を分類し、次に調査すべき領域を予測する。
• ハードアテンション機構は微分不可能であるため、領域選択ポリシーの最適化を強化学習により行い、ネットワーク全体を訓練する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、生画像ピクセルのわずかな部分しか処理しなくても、乳がん組織画像を効果的に分類できるか？
• RQ2 ハードアテンションとソフトアテンションを組み合わせたハイブリッドアテンション機構は、標準的なCNNやパッチベース手法と比較して、分類精度をどのように向上させるか？
• RQ3 強化学習に基づく領域選択は、ランダムまたは固定クロップパッチ選択に比べて、正確性と効率性の面でどの程度優れているか？
• RQ4 ノイズ低減と特徴の関連性向上の観点から、ソフトアテンション機構はどの程度重要か？
• RQ5 提案された「見る、調査する、分類する」フレームワークは、全スライド画像解析において人間の診断行動をどれほど模倣できるか？

主な発見

• 提案手法は、40×倍率で97.5%、100×で96.2%、200×で97.4%、400×で95.4%の患者認識率（PRR）を達成し、BreakHisデータセットにおいて、すべての先行研究の最先端手法を顕著に上回った。
• モデルは生画像ピクセルの約15%（5つの112×112パッチ）しか処理しないため、正確性を損なわず、顕著な計算コストの削減が達成された。
• アブレーションスタディの結果、ソフトアテンションネットワーク（SA-Net）を削除すると正確性が約10%低下し、ノイズ低減と不要な特徴のフィルタリングにおけるその重要性が確認された。
• 強化学習に基づくハードアテンションポリシーは、多様な倍率において生物学的に関連する領域を的確に特定でき、頑健性と適応性を示した。
• 画像のリサイズやランダムクロップを回避したため、正確な診断に不可欠な微細な組織像の詳細が保持された。
• 異なる倍率にわたり、一貫した高い性能を示し、モデルの一般化能力が優れていた。