[論文レビュー] Instance-based Vision Transformer for Subtyping of Papillary Renal Cell Carcinoma in Histopathological Image

Zeyu Gao, Bangyang Hong+7 more|arXiv (Cornell University)|Jun 23, 2021

AI in cancer detection参考文献 16被引用数 5

ひとこと要約

本稿では、細胞および細胞層のパターンの違いを捉えるために、位置とグレード埋め込みを用いた核レベルのインスタンスパッチを活用することで、組織病理学的画像における乳頭状腎細胞癌（pRCC）の微細なサブタイプ分類のためのインスタンスベースのビジョントランスフォーマー（i-ViT）を提案する。この手法は、93.01%の全体的な正答率を達成し、CNNベースのモデルや手作業特徴抽出手法を著しく上回る性能を示した。

ABSTRACT

Histological subtype of papillary (p) renal cell carcinoma (RCC), type 1 vs. type 2, is an essential prognostic factor. The two subtypes of pRCC have a similar pattern, i.e., the papillary architecture, yet some subtle differences, including cellular and cell-layer level patterns. However, the cellular and cell-layer level patterns almost cannot be captured by existing CNN-based models in large-size histopathological images, which brings obstacles to directly applying these models to such a fine-grained classification task. This paper proposes a novel instance-based Vision Transformer (i-ViT) to learn robust representations of histopathological images for the pRCC subtyping task by extracting finer features from instance patches (by cropping around segmented nuclei and assigning predicted grades). The proposed i-ViT takes top-K instances as input and aggregates them for capturing both the cellular and cell-layer level patterns by a position-embedding layer, a grade-embedding layer, and a multi-head multi-layer self-attention module. To evaluate the performance of the proposed framework, experienced pathologists are invited to selected 1162 regions of interest from 171 whole slide images of type 1 and type 2 pRCC. Experimental results show that the proposed method achieves better performance than existing CNN-based models with a significant margin.

研究の動機と目的

• 乳頭状腎細胞癌（pRCC）のタイプ1およびタイプ2への微細なサブタイプ分類に取り組むこと。両者は類似した構造的パターンを示すが、細胞および細胞層の微細な違いを有する。
• 大規模なウェルスライド画像において、小さな、ランダムに分布する、微細な組織像特徴を捉えることが難しい従来のCNNの限界を克服すること。
• 空間的位置と組織学的グレードを含む核レベルの特徴を明示的にモデル化する深層学習フレームワークを構築し、より優れた表現学習を実現すること。
• 標準的なViTとは異なり、画像全体のパッチではなく、関連する核インスタンスにのみ焦点を当てることで、計算負荷とバックグラウンドノイズを低減すること。

提案手法

• セグメンテーションネットワークに追加の分類ヘッドを備え、核のグレードを予測することで、セグメンテーションされた核の周囲の領域からインスタンスレベルのパッチを抽出する。
• 核のサイズと予測グレードに基づき、表現学習に有用なインスタンスを優先するため、Top-Kパッチを選択する。
• 各選択されたパッチはCNNで埋め込み処理され、位置情報とグレード情報はそれぞれ専用の位置埋め込み層とグレード埋め込み層で符号化される。
• マルチヘッド・マルチレイヤー自己注意機構により、符号化されたインスタンス埋め込みが統合され、核同士の長距離依存関係や関係性のパターンを学習可能となる。
• 標準的なViTとは異なり、すべての画像パッチを処理する代わりに、Top-Kインスタンスのみを入力シーケンスとして選択することで、計算負荷を低減し、生物学的に関連する特徴に焦点を当てる。
• 主なi-ViTバージョンでは、10エポックにわたり線形の学習率スケジューリングを用いて訓練し、シーケンス長を500に設定する。

実験結果

リサーチクエスチョン

• RQ1 従来のCNNが細胞および細胞層の微細な違いにより失敗する状況下でも、ビジョントランスフォーマーモデルがpRCCサブタイプ分類において微細な組織像パターンを効果的に学習できるか。
• RQ2 位置、サイズ、グレードといった核レベルの特徴をモデル化することで、グローバルな画像パッチ処理と比較して分類性能がどのように向上するか。
• RQ3 pRCCサブタイプ分類において、最適なインスタンスパッチサイズ、入力シーケンス長、トランスフォーマー構造スケールの設定は何か。
• RQ4 すべての画像パッチを処理するのではなく、Top-K核インスタンスにのみ焦点を当てる場合、性能向上とノイズ低減はどの程度達成されるか。

主な発見

• 提案されたi-ViTは、pRCCサブタイプ分類タスクにおいて93.01%の全体正答率を達成し、次に優れた手法であるGBDT-GH（88.21%）を著しく上回った。
• i-ViTモデルは、より困難なタイプ2 pRCCに対して92.31%の高いF1スコアを達成し、高グレード核を有するサブタイプでも優れた性能を示した。
• モデルの性能はインスタンスパッチサイズと入力シーケンス長に敏感であり、最適な性能はP=64およびN=500–1000で得られた。N=1500では、核数が限られているため過学習が生じ、性能が低下した。
• 巨大スケール（H-24-12）および中規模スケール（M-12-12）のトランスフォーマーは、小さなスケール（T-6-6）モデルを上回った。T-6-6モデルは、学習不足（アンダーフィット）に苦しんだ。
• 小さなパッチ（P=16）は、核の一部しか捉えられず、不完全な特徴表現を引き起こしたため、性能が悪化した。
• アブレーションスタディの結果、位置埋め込みとグレード埋め込みの統合がモデル性能を著しく向上させたことが確認され、インスタンスベースの注意メカニズムの設計の有効性が裏付けられた。