[論文レビュー] Task-specific Fine-tuning via Variational Information Bottleneck for Weakly-supervised Pathology Whole Slide Image Classification

Honglin Li, Chenglu Zhu+6 more|arXiv (Cornell University)|Mar 15, 2023

AI in cancer detection被引用数 6

ひとこと要約

本論文は、1枚の全スライド画像（WSI）あたり10,000枚以上のパッチを1,000未塔の主要なインスタンスに縮退させることで、計算コストを大幅に削減する、変分情報ボトルネック（VIB）に基づく微調整フレームワークを提案する。WSIレベルのラベルのみを用いてバックボーンのエンドツーエンド学習を可能にすることで、ImageNet事前学習済みや自己教師あり特徴量よりも顕著な精度および汎化性能の向上を達成し、パッチアノテーションの1%未満で完全教師ありベースラインに近い性能を実現する。

ABSTRACT

While Multiple Instance Learning (MIL) has shown promising results in digital Pathology Whole Slide Image (WSI) classification, such a paradigm still faces performance and generalization problems due to challenges in high computational costs on Gigapixel WSIs and limited sample size for model training. To deal with the computation problem, most MIL methods utilize a frozen pretrained model from ImageNet to obtain representations first. This process may lose essential information owing to the large domain gap and hinder the generalization of model due to the lack of image-level training-time augmentations. Though Self-supervised Learning (SSL) proposes viable representation learning schemes, the improvement of the downstream task still needs to be further explored in the conversion from the task-agnostic features of SSL to the task-specifics under the partial label supervised learning. To alleviate the dilemma of computation cost and performance, we propose an efficient WSI fine-tuning framework motivated by the Information Bottleneck theory. The theory enables the framework to find the minimal sufficient statistics of WSI, thus supporting us to fine-tune the backbone into a task-specific representation only depending on WSI-level weak labels. The WSI-MIL problem is further analyzed to theoretically deduce our fine-tuning method. Our framework is evaluated on five pathology WSI datasets on various WSI heads. The experimental results of our fine-tuned representations show significant improvements in both accuracy and generalization compared with previous works. Source code will be available at https://github.com/invoker-LL/WSI-finetuning.

研究の動機と目的

• 固定されたImageNetまたは自己教師あり表現を用いる既存の弱教師ありWSI分類手法の高い計算コストと性能制限を解決すること。
• ギガピクセル級のWSIに含まれる多数のパッチがある中で、複数インスタンス学習（MIL）フレームワークにおいてバックボーンのエンドツーエンド微調整を可能にすること。
• WSIレベルのラベルを用いて、タスクに依存しない自己教師あり特徴量をタスク固有の表現に変換することで、特徴量のタスク特異性と汎化性能を向上させること。
• 弱教師あり設定において多様なトレーニング時オーグメンテーションを可能にし、ドメインシフト下での耐性を高めること。

提案手法

• 1枚のWSIあたり10,000枚以上のパッチを、1,000未塔の代表的インスタンスに縮退させるための変分情報ボトルネック（VIB）モジュールを導入し、学習コストを10倍以上削減する。
• VIBモジュールを用いてWSIバッグの最小限の十分統計量を学習することで、多数のパッチがある中でもバックボーンを介した勾配誤差逆伝播を可能にする。
• VIBベースの微調整を自己教師あり事前学習と組み合わせ、WSIレベルのラベルのみを用いて、タスクに依存しないSSL特徴量をタスク固有の表現に変換する。
• 情報圧縮と予測精度のバランスを取るためにラグランジュ最適化フレームワークを採用し、モデルが重要な診断的特徴を保持できるようにする。
• 微調整の際、多様なトレーニング時オーグメンテーションを適用し、ドメインシフト下での汎化性能を向上させる。
• 微分可能なtop-K選択メカニズムを用いて、各WSIバッグ内での最も支持度の高いインスタンスを特定し、効率的な学習のための縮退バッグを形成する。

実験結果

リサーチクエスチョン

• RQ1 変分情報ボトルネックフレームワークは、診断的情報を保持しつつ、ギガピクセル級WSIの学習にかかる計算負荷を効果的に低減できるか？
• RQ2 WSIレベルの弱教師ありラベルは、自己教師ありまたはImageNet事前学習済み特徴量のタスク特異性をどの程度向上できるか？
• RQ3 縮退パッチ表現を用いたバックボーンのエンドツーエンド微調整は、固定された特徴抽出よりも優れた性能を達成するか？
• RQ4 多様なデータオーグメンテーションと組み合わせた場合、提案手法はドメインシフト下でも効果的に汎化できるか？

主な発見

• 提案された微調整手法は、ImageNet事前学習済み特徴量を固定した場合に比べ、Camelyon-16-CでF1スコア18.43%向上、Camelyon-17で18.86%向上を達成した。
• 微調整済み特徴量を用いたmax-poolingは、Camelyon-16-CでCLAM-SBに比べ10.91%、TransMILに比べ6.28%高いF1スコアを達成した。
• ドメインシフト下でも汎化性能が向上し、DTFD-MILは微調整後、Camelyon-17でF1スコア11.30%向上を示し、優れた耐性を示した。
• AUCよりもF1指標の向上が顕著で、順位付け能力よりも分類性能（感度と特異度）の向上が顕著であるため、臨床的意義がより高い。
• T-SNE可視化により、微調整済み特徴量はImageNet-1KやSSL特徴量よりも分離性が高く、タスク固有の分布を形成しており、vスコアも上回った。
• CLAM-SBのアテンションマップから、微調整済み特徴量を用いたモデルは腫瘍領域により集中しており、解釈可能性と診断的関連性が向上していることが示された。