[論文レビュー] SHISRCNet: Super-resolution And Classification Network For Low-resolution Breast Cancer Histopathology Image

Luyuan Xie, Cong Li+5 more|arXiv (Cornell University)|Jun 25, 2023

AI in cancer detection被引用数 5

ひとこと要約

SHISRCNet は、低解像度の乳がんヒストパスロジー画像に対して、同時に超解像と分類を実行する統合型のディーブラーニングフレームワークである。超解像モジュールでは、多スケール選択的統合を備えたマルチ・フォーチャーズ抽出ブロックを採用し、分類モジュールでは SKNet と FPN に加え、クロススケール選択的統合ブロックを組み合わせている。高解像度データを用いた共同学習により、入力が低解像度であっても、高解像度データで学習された最先端の手法とほぼ同等の性能を達成している。

ABSTRACT

The rapid identification and accurate diagnosis of breast cancer, known as the killer of women, have become greatly significant for those patients. Numerous breast cancer histopathological image classification methods have been proposed. But they still suffer from two problems. (1) These methods can only hand high-resolution (HR) images. However, the low-resolution (LR) images are often collected by the digital slide scanner with limited hardware conditions. Compared with HR images, LR images often lose some key features like texture, which deeply affects the accuracy of diagnosis. (2) The existing methods have fixed receptive fields, so they can not extract and fuse multi-scale features well for images with different magnification factors. To fill these gaps, we present a extbf{S}ingle extbf{H}istopathological extbf{I}mage extbf{S}uper- extbf{R}esolution extbf{C}lassification network (SHISRCNet), which consists of two modules: Super-Resolution (SR) and Classification (CF) modules. SR module reconstructs LR images into SR ones. CF module extracts and fuses the multi-scale features of SR images for classification. In the training stage, we introduce HR images into the CF module to enhance SHISRCNet's performance. Finally, through the joint training of these two modules, super-resolution and classified of LR images are integrated into our model. The experimental results demonstrate that the effects of our method are close to the SOTA methods with taking HR images as inputs.

研究の動機と目的

• 低解像度のヒストパスロジー画像からの乳がんの診断に課題となる、重要なテクスチャーディテールの欠如に対処すること。
• 既存の超解像モデルが有する固定受容 field の制限を克服し、さまざまな倍率要因に対応した多スケール特徴抽出を効果的に行えるようにすること。
• 単一で共同学習されたモデルに超解像と分類を統合することで、低解像度画像における分類精度を向上させること。
• 分類ブランチの学習中に高解像度画像を導入することで、入力が低解像度であってもモデルのロバスト性を向上させること。
• 超解像と分類ブランチの両方で多スケール特徴を効果的に統合する、新たな特徴統合メカニズムの設計

提案手法

• 超解像モジュールでは、多スケール受容 field を備えたマルチ・フォーチャーズ抽出ブロック（MFEblock）を採用し、低解像度画像からの階層的特徴を抽出する。
• 超解像モジュールにおける多スケール特徴の効果的統合を図るため、新規の多スケール選択的統合（MSF）メカニズムを導入し、再構成品質を向上させた。
• 分類モジュールでは、ハイブリッドアプローチを採用：SKNet による多スケール特徴抽出と FPN による特徴ピラミッド構築を組み合わせ、特徴統合を強化するためのクロススケール選択的統合（CSFblock）を導入した。
• 分類ブランチの学習中に高解像度画像を導入することで、特徴学習と一般化性能を向上させた。これは、入力が低解像度であっても有効である。
• 超解像と分類の損失関数を共同最適化することで、エンドツーエンドの学習を実現し、共通の特徴学習を可能にした。
• 分類ブランチにおける表現学習を向上させるために、対照的学習損失（NT-Xent）を適用した。

実験結果

リサーチクエスチョン

• RQ1 統合型ディーブラーニングモデルは、低解像度の乳がんヒストパスロジー画像に対して、同時に超解像と分類を効果的に行えるか？
• RQ2 低解像度入力の処理を行うモデルの学習中に高解像度画像を組み込むことで、性能が向上するか？
• RQ3 提案された多スケール選択的統合（MSF）メカニズムは、標準的な連結や固定受容 field の手法と比較して、超解像品質の向上にどの程度有効か？
• RQ4 SKNet と FPN を新規の CSFblock と組み合わせることで、多スケール特徴抽出と分類精度はどの程度向上するか？
• RQ5 超解像モジュールと分類モジュールを共同で学習させることで、個別に学習させた場合と比較して、全体の診断性能はどの程度向上するか？

主な発見

• SHISRCNet は、x2↓ の低解像度画像に対して、40x 時に 97.49%、100x 時に 96.19%、200x 時に 97.60%、400x 時に 97.04% の分類精度を達成し、高解像度入力で学習された最先端モデルにほぼ近い性能を示した。
• x4↓ および x8↓ の低解像度画像でも、SHISRCNet は高い性能を維持し、40x 時に 94.15%、100x 時に 94.22%、200x 時に 95.14%、400x 時に 95.26% の精度を示した。これは、同じ入力で学習されたベースライン分類モデルよりも顕著に優れていた。
• アブレーションスタディの結果、多スケール選択的統合（MSF）機構を削除すると、PSNR が 2.48 dB 減少し、精度が約 1.5 パcentポイント低下した。これは、MSF が超解像品質において極めて重要な役割を果たしていることを確認した。
• FPN と CSFblock の組み合わせを削除すると、精度は 93.98% に低下した。これは、分類モジュールにおけるハイブリッド多スケール特徴抽出戦略の有効性を示している。
• 学習中に高解像度画像の監視を排除すると、精度が 4 パcentポイント以上低下した。これは、HR データのインジェクションが一般化性能とロバスト性を向上させることを証明した。
• NT-Xent 対照的学習損失は、表現学習の向上に寄与しており、これを削除すると平均で精度が約 2.4 パcentポイント低下した。