[論文レビュー] Towards better understanding and better generalization of few-shot classification in histology images with contrastive learning

Jiawei Yang, Hanbo Chen+3 more|arXiv (Cornell University)|Feb 18, 2022

AI in cancer detection被引用数 11

ひとこと要約

本稿では、自己教師あり表現学習と無教師的意味的転送を活用して一般化性能を向上させる、少数ショット分類のための対照的学習（CL）と潜在的増幅（LA）フレームワークを提案する。実験の結果、CLモデルは未学習のヒストロロジー画像クラスに対して、教師ありモデルよりも顕著に優れた一般化性能を示し、LAはクロスドメインタスク全体で一貫して性能を向上させる。

ABSTRACT

Few-shot learning is an established topic in natural images for years, but few work is attended to histology images, which is of high clinical value since well-labeled datasets and rare abnormal samples are expensive to collect. Here, we facilitate the study of few-shot learning in histology images by setting up three cross-domain tasks that simulate real clinics problems. To enable label-efficient learning and better generalizability, we propose to incorporate contrastive learning (CL) with latent augmentation (LA) to build a few-shot system. CL learns useful representations without manual labels, while LA transfers semantic variations of the base dataset in an unsupervised way. These two components fully exploit unlabeled training data and can scale gracefully to other label-hungry problems. In experiments, we find i) models learned by CL generalize better than supervised learning for histology images in unseen classes, and ii) LA brings consistent gains over baselines. Prior studies of self-supervised learning mainly focus on ImageNet-like images, which only present a dominant object in their centers. Recent attention has been paid to images with multi-objects and multi-textures. Histology images are a natural choice for such a study. We show the superiority of CL over supervised learning in terms of generalization for such data and provide our empirical understanding for this observation. The findings in this work could contribute to understanding how the model generalizes in the context of both representation learning and histological image analysis. Code is available.

研究の動機と目的

• 臨床応用におけるラベル付きヒストロロジー画像データの限界を克服し、少数ショット学習を可能にする。
• 近郊・中域・外縁ドメインの現実的なドメインシフトを想定したヒストロロジー画像における少数ショットおよび一般化少数ショット学習を検討する。
• 同じWSIか異なるWSIからのショット選択が少数ショット性能に与える影響を調査する。
• 対照的学習と潜在的増幅を組み合わせることで、モデルの一般化性能とラベル効率を向上させる。
• 対照的学習がアイコン的でない、多対象のヒストロロジー画像においてなぜ教師あり学習を上回るのか、実証的知見を提供する。

提案手法

• ラベルなしの大規模ベースデータセット上で、SimCLRスタイルの対照的学習を用いて表現エンコーダーを事前学習する。
• 潜在的増幅（LA）を用い、無教師的にベースデータセットからの意味的変異を潜在空間に転送する。
• 事前学習済みのCLエンコーダーを特徴抽出器として用い、新規クラスの少数ラベル付きサンプルで微調整して少数ショット分類を実行する。
• ResNet-18の複数層（ステージ2〜ステージ4）の正規化された潜在特徴に対してK-meansクラスタリングを実施し、特徴の凝集状態を可視化する。
• グローバルプールド特徴とローカル特徴間のコサイン類似度を用いて類似度ヒートマップを生成し、注目パターンを分析する。
• NCT、LC-25K、PAIPデータセットにおける3つのクロスドメインタスクで、H-mean、ベースクラス、および新規クラスの正確度を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ドメインシフト下でも、対照的学習が教師あり学習よりも少数ショットヒストロロジー画像分類で一般化性能に優れているか？
• RQ2 潜在的増幅は、ベースデータセットのラベルなしデータを活用することで、どのように少数ショット一般化性能を向上させるか？
• RQ3 自然画像と比較して、ヒストロロジー画像ではなぜCLと教師ありモデルの一般化ギャップが拡大するのか？
• RQ4 多対象・多テクスチャのヒストロロジー画像において、CLモデルと教師ありモデルの注目パターンと特徴クラスタリングはどのように異なるか？
• RQ5 ショット選択（同じWSI vs. 異なるWSI）が少数ショット性能に与える影響は何か？また、CLとLAはその影響をどのように軽減するか？

主な発見

• 対照的学習モデルは、未学習のヒストロロジー画像クラスへの一般化性能において、教師ありモデルを大きく上回り、NCTデータセットで65.74%のH-meanを達成した。
• 本手法（CLとLAを組み合わせたもの）は75.77%のH-meanを達成し、ベースライン（65.74%）を顕著に上回り、両方のコンponentが一貫した向上をもたらすことを示した。
• 潜在的増幅は、すべての3つのクロスドメインタスクで一貫して性能を向上させ、新規クラスが異なるドメインに属する場合でも効果を示した。
• ヒストロロジー画像では、自然画像と比較してCLと教師ありモデルの一般化ギャップがより大きくなることが判明し、CLが複雑な多対象組織においても転送可能な表現を捉える優れた能力を持つことを示唆した。
• 可視化結果から、CLモデルは核や腫瘍細胞などの判別能の高いローカル特徴により効果的に注目しているのに対し、教師ありモデルは、しばしば情報量の多い非優位領域を正しく表現できないことが分かった。
• 分類器のL2正規化が性能向上に寄与し、訓練時と推論時ともにL2正規化された特徴を使用した場合に最良の結果（75.77%のH-mean）が得られた。