[論文レビュー] Representation-Aggregation Networks for Segmentation of Multi-Gigapixel Histology Images

Abhinav Agarwalla, Muhammad Shaban+1 more|arXiv (Cornell University)|Jul 27, 2017

AI in cancer detection参考文献 9被引用数 18

ひとこと要約

本論文では、パッチレベルの特徴表現と空間的文脈の集約を組み合わせることで、マルチギガピクセルのヒストロロジー全スライド画像（WSIs）における腫瘍セグメンテーションを向上させる、表現集約ネットワーク（RANs）を提案する。局所的表現にはCNNを、隣接するパッチ間の文脈集約にはCNNまたは2D-LSTMを用いることで、標準的なパッチベースのCNNに比べて顕著に優れた性能を発揮し、F1スコア0.83を達成した。これは、グローバルな腫瘍構造を捉える能力が優れており、予測の不連続性を低減していることを示している。

ABSTRACT

Convolutional Neural Network (CNN) models have become the state-of-the-art for most computer vision tasks with natural images. However, these are not best suited for multi-gigapixel resolution Whole Slide Images (WSIs) of histology slides due to large size of these images. Current approaches construct smaller patches from WSIs which results in the loss of contextual information. We propose to capture the spatial context using novel Representation-Aggregation Network (RAN) for segmentation purposes, wherein the first network learns patch-level representation and the second network aggregates context from a grid of neighbouring patches. We can use any CNN for representation learning, and can utilize CNN or 2D-Long Short Term Memory (2D-LSTM) for context-aggregation. Our method significantly outperformed conventional patch-based CNN approaches on segmentation of tumour in WSIs of breast cancer tissue sections.

研究の動機と目的

• 計算制約とグローバル文脈の喪失のため、標準的なCNNが機能しないマルチギガピクセルの全スライド画像（WSIs）における腫瘍セグメンテーションの課題に対処すること。
• 隣接するパッチ間の空間的依存関係をモデル化することで、文脈情報を犠牲にするパッチベースのアプローチの限界を克服すること。
• 表現学習と文脈集約を統合する汎用的なディープラーニングフレームワークを構築し、大規模なヒストパスロジー画像におけるセグメンテーション精度を向上させること。
• グローバルな腫瘍構造を捉えるために、畳み込み型および再帰型アーキテクチャ（2D-LSTM）の両方を用いた文脈集約の有効性を評価すること。

提案手法

• WSIの個々の画像パッチから高次元特徴表現を抽出するために、事前学習済みのCNN（例：AlexNet、GoogLeNet、VGGNet、ResNet）を用いる。
• パッチレベルの特徴を2次元グリッドに整理することで、空間的配置を保持し、隣接するパッチ間の文脈モデリングを可能にする。
• 2次元グリッドの特徴に、2次元CNN（RAN-CNN）または2次元LSTM（RAN-LSTM）からなる文脈集約ネットワークを適用し、空間的文脈を用いて各パッチの腫瘍確率を予測する。
• RAN-LSTMでは、グリッドの各コーナーから斜めに4つの2次元LSTMネットワークを実行し、長距離依存性を捉える。最終出力は、これらの予測を平均化して得る。
• クラス不均衡を軽減するために、腫瘍陽性と腫瘍陰性の両方のグリッドを等量含む、28,000個の2次元グリッドで構成されるバランスの取れたデータセットを用いて、文脈集約ネットワークを訓練する。
• Adam最適化アルゴリズムを用い、学習率スケジューリングとデータオーグメンテーションを適用。AlexNetのFC6層から抽出された特徴を用いて、1つのGPUで訓練を行う。

実験結果

リサーチクエスチョン

• RQ1 パッチごとの処理に依存せずに、マルチギガピクセルのヒストロロジーWSIsにおいて長距離の空間的文脈を効果的にモデル化できるディープラーニングフレームワークは存在するか？
• RQ2 2D-LSTMやCNNベースの文脈集約を統合することで、標準的なパッチベースのCNNに比べて腫瘍セグメンテーション性能が向上するか？
• RQ3 AlexNet や ResNet などの異なる表現ネットワークと、RAN-CNN と RAN-LSTM のような文脈集約アーキテクチャの間で、セグメンテーション精度と頑健性の観点からどのように比較されるか？
• RQ4 文脈集約は予測の不連続性をどの程度低減させ、腫瘍領域のセグメンテーションの連続性を向上させるか？
• RQ5 異なるバックボーンネットワークと文脈モジュールを組み合わせることで、汎用的なRANアーキテクチャをヒストパスロジー画像セグメンテーションに効果的に適応できるか？

主な発見

• RANsは、標準的なパッチベースのCNNに比べ顕著に優れた性能を発揮し、F1スコア0.83（AlexNet単体では0.40）を達成した。これは、文脈集約の価値を示している。
• 2層の2D-LSTMを備えたRAN-LSTMが、F1スコア0.83を達成し、RAN-CNNの変種を上回った。これは、グローバルな空間的依存性をよりよくモデル化できたためである。
• RAN-LSTMは、AlexNetが生成する断片的で塊状の予測とは異なり、滑らかでより連続的な腫瘍領域の予測を生成した。
• 5層の畳み込み層とドロップアウトを備えたRAN-CNN変種（RAN-CNN-FC6-5L-D）は、精度0.81、再現率0.83、F1スコア0.82を達成し、局所的からグローバルな文脈を統合した強力な性能を示した。
• RAN-LSTMモデルは、精度0.85、再現率0.81を達成し、腫瘍検出における精度と感受性の良好なバランスを示した。
• アブレーションスタディにより、より深い文脈集約ネットワーク（例：2層のRAN-LSTM）が浅いものよりも優れていることが確認され、文脈を適切にモデル化するための十分な表現能力の重要性が示された。