[論文レビュー] Magnification-independent Histopathological Image Classification with Similarity-based Multi-scale Embeddings

Yibao Sun, Xingru Huang+3 more|arXiv (Cornell University)|Jul 2, 2021

AI in cancer detection参考文献 46被引用数 5

ひとこと要約

本論文は、類似度に基づくマルチスケール埋め込み（SMSE）を用いた、倍率に依存しない組織病理画像分類手法を提案する。ペア損失およびトリプレット損失を活用して、異なる倍率レベル間で頑健で類似度に敏感な画像表現を学習する。このアプローチにより分類精度が著しく向上し、従来手法に比べてBreakHisベンチマークで5–18%の相対的改善を達成した。

ABSTRACT

The classification of histopathological images is of great value in both cancer diagnosis and pathological studies. However, multiple reasons, such as variations caused by magnification factors and class imbalance, make it a challenging task where conventional methods that learn from image-label datasets perform unsatisfactorily in many cases. We observe that tumours of the same class often share common morphological patterns. To exploit this fact, we propose an approach that learns similarity-based multi-scale embeddings (SMSE) for magnification-independent histopathological image classification. In particular, a pair loss and a triplet loss are leveraged to learn similarity-based embeddings from image pairs or image triplets. The learned embeddings provide accurate measurements of similarities between images, which are regarded as a more effective form of representation for histopathological morphology than normal image features. Furthermore, in order to ensure the generated models are magnification-independent, images acquired at different magnification factors are simultaneously fed to networks during training for learning multi-scale embeddings. In addition to the SMSE, to eliminate the impact of class imbalance, instead of using the hard sample mining strategy that intuitively discards some easy samples, we introduce a new reinforced focal loss to simultaneously punish hard misclassified samples while suppressing easy well-classified samples. Experimental results show that the SMSE improves the performance for histopathological image classification tasks for both breast and liver cancers by a large margin compared to previous methods. In particular, the SMSE achieves the best performance on the BreakHis benchmark with an improvement ranging from 5% to 18% compared to previous methods using traditional features.

研究の動機と目的

• 組織病理画像分類における倍率変動の課題に対処すること。これは、モデルの汎化性能を阻害する要因である。
• 形態的変異およびクラス不均衡のため性能が低下する従来手法の限界を克服すること。
• 同じクラスに属する腫瘍間で共有される形態的パターンを活用することで、より効果的な画像表現を学習すること。
• 訓練中にマルチスケール入力を用いることで、さまざまな倍率要因に対して頑健な訓練戦略を開発すること。
• ハードサンプルマイニングに依存せずに、よく分類された簡単なサンプルを抑制し、誤分類されやすい難しいサンプルを強調することで、クラス不均衡を緩和すること。

提案手法

• 本手法は、画像ペアおよびトリプレットからの類似度に基づく埋め込みを学習するためにペア損失およびトリプレット損失を採用し、組織病理画像間の形態的類似性を捉える。
• 訓練中に異なる倍率で取得された画像を同時にネットワークに入力することで、マルチスケール埋め込みを学習する。
• 容易でよく分類されたサンプルを動的に抑制し、分類が難しいサンプルの損失を増大させるために、強化されたフォーカル損失を導入する。
• 埋め込み空間は意味的類似性を反映するように最適化され、形態の正確な類似度測定が可能となる。これは、形態の優れた表現として機能する。
• 対照学習の原則に従い、エンドツーエンドで訓練することで、倍率レベル間での汎化性能を向上させる。
• スケール変動に共通する表現を学習することで、モデルが倍率に依存しないようにアーキテクチャを設計する。

実験結果

リサーチクエスチョン

• RQ1 類似度に基づく埋め込みは、さまざまな倍率レベルで組織病理画像分類の性能を向上させることができるか？
• RQ2 マルチスケール訓練を統合することで、モデルの倍率変動に対するロバストネスはどのように向上するか？
• RQ3 強化されたフォーカル損失は、組織病理データセットにおけるクラス不均衡の悪影響をどの程度軽減できるか？
• RQ4 画像ペアおよびトリプレットからの学習は、標準的な特徴学習に比べて、より判別力のある表現をもたらすか？
• RQ5 ブレンチマーキングデータセット（例：BreakHis）において、提案手法SMSEは最先端の手法と比較してどのように差をつけるか？

主な発見

• 従来の特徴を用いた手法と比較して、SMSE手法はBreakHisベンチマークで5–18%の相対的精度向上を達成した。
• マルチスケール訓練のおかげで、モデルは強い倍率不変性を示し、さまざまな倍率レベルで高い性能を維持した。
• 強化されたフォーカル損失は、容易なサンプルの影響を効果的に低減するとともに、困難なサンプルの分類性能を向上させ、全体の性能向上に寄与した。
• 類似度に基づく埋め込みは、従来の画像特徴よりも組織病理形態の表現に効果的であることが示された。
• 本手法は、乳がんおよび肝がん分類タスクの両方で、既存の手法を上回り、汎化能力の有効性を確認した。
• トリプレット損失およびペア損失の使用により、特に複雑で不均衡なデータセットにおいて、学習された埋め込みの判別力が顕著に向上した。