[論文レビュー] Semantic-Transferable Weakly-Supervised Endoscopic Lesions Segmentation

Jiahua Dong, Yang Cong+2 more|arXiv (Cornell University)|Aug 21, 2019

Colorectal Cancer Screening and Detection参考文献 43被引用数 9

ひとこと要約

本稿では、スーパーピクセルの事前知識とクラスのバランスを用いた疑似ラベル生成により、弱教師ありの内視鏡画像病変セグメンテーションのための意味的転送可能な弱教師ありモデルを提案する。このモデルは反復的に転送が難しいサンプルを弱教師ありのターゲットデータから段階的に含め、ソース（胃カメラ）とターゲット（腸管内視鏡）データセット間で動的に探索された特徴量センターオンを一致させ、ドメインシフトを低減するための adversarial learning を用いる。本手法は、新規の内視鏡データセットおよびベンチマークデータセットで最先端の性能を達成し、mIoU で最大 6.8% の向上を実現した。

ABSTRACT

Weakly-supervised learning under image-level labels supervision has been widely applied to semantic segmentation of medical lesions regions. However, 1) most existing models rely on effective constraints to explore the internal representation of lesions, which only produces inaccurate and coarse lesions regions; 2) they ignore the strong probabilistic dependencies between target lesions dataset (e.g., enteroscopy images) and well-to-annotated source diseases dataset (e.g., gastroscope images). To better utilize these dependencies, we present a new semantic lesions representation transfer model for weakly-supervised endoscopic lesions segmentation, which can exploit useful knowledge from relevant fully-labeled diseases segmentation task to enhance the performance of target weakly-labeled lesions segmentation task. More specifically, a pseudo label generator is proposed to leverage seed information to generate highly-confident pseudo pixel labels by incorporating class balance and super-pixel spatial prior. It can iteratively include more hard-to-transfer samples from weakly-labeled target dataset into training set. Afterwards, dynamically searched feature centroids for same class among different datasets are aligned by accumulating previously-learned features. Meanwhile, adversarial learning is also employed in this paper, to narrow the gap between the lesions among different datasets in output space. Finally, we build a new medical endoscopic dataset with 3659 images collected from more than 1100 volunteers. Extensive experiments on our collected dataset and several benchmark datasets validate the effectiveness of our model.

研究の動機と目的

• 限られた監視情報による弱教師あり医療画像解析における粗いおよび不正確な病変セグメンテーションの課題に対処すること。
• 良好にアノテートされたソースデータセット（例：胃カメラ）と弱教師ありのターゲットデータセット（例：腸管内視鏡）間の強い確率的依存関係を活用して、セグメンテーションを改善すること。
• クラスのバランスと空間的一致性を維持しながら、ターゲットデータから高信頼度の疑似ラベルを段階的にマイニングする手法を開発すること。
• 動的に更新される特徴量センターオンの一致と出力空間における adversarial 訓練を用いて、ソースとターゲットデータセット間のドメインシフトを低減すること。

提案手法

• 種まき領域、クラスのバランス、およびスーパーピクセルの空間的事前知識を用いて、カテゴリの優位性を防ぐために、高信頼度のピクセル単位のラベルを生成する疑似ラベル生成器を設計した。
• 反復的な疑似ラベル付けにより、ターゲットデータセットからの転送が難しいサンプルを段階的に訓練に組み込み、モデルの一般化性能を向上させた。
• 各クラスの動的に探索された特徴量センターオンを、事前に学習された特徴量と疑似ラベルを蓄積することで、ソースとターゲットデータセット間で一致させた。
• 出力空間における adversarial learning を適用し、ソースとターゲットのセグメンテーション予測間の分布ギャップを最小化した。
• 疑似ラベル付け、特徴量センターオン一致、adversarial 訓練を統合的に統合したフレームワークを構築し、転送性を向上させた。
• 評価のため、1,100人以上の被験者から得た3,659枚の画像から構築された新しい内視鏡データセットを構築した。

実験結果

リサーチクエスチョン

• RQ1 スーパーピクセルの事前知識とクラスのバランスを用いた疑似ラベル生成は、弱教師あり病変セグメンテーションの品質とカバー範囲を向上させることができるか？
• RQ2 ソースとターゲットデータセットからの特徴量センターオンをどれほど効果的に一致させることで、内視鏡病変セグメンテーションにおけるドメインシフトを低減できるか？
• RQ3 出力空間における adversarial learning は、異なる内視鏡画像モodal 間で弱教師ありモデルの一般化性能をどの程度向上させるか？
• RQ4 完全にアノテートされたソースデータセット（例：胃カメラ）からの転移学習は、弱教師ありのターゲットデータセット（例：腸管内視鏡）での性能を顕著に向上させることができるか？
• RQ5 mIoU と転送が難しいクラスのロバストネスの観点から、本手法は最先端の手法と比較してどの程度優れているか？

主な発見

• 提案手法は、新たに構築した内視鏡データセットで最先端の性能を達成し、mIoU 47.2% を達成し、先行手法を上回った。
• GTA-to-Cityscapes ベンチマークでは、既存の最先端手法と比較して mIoU を最大 6.8% 向上させた。
• SYNTHIA-to-Cityscapes ベンチマークでは、mIoU 46.7% を達成し、壁、ポール、自転車といった転送が難しいクラスでも良好な性能を示した。
• アブレーションスタディの結果、疑似ラベル生成器、特徴量センターオン一致、スーパーピクセル事前知識の各コンponent が性能向上に顕著な寄与をしていることが確認された。
• ドメインシフトの下で、道路、空といった転送が容易なクラスと、交通標識、オートバイといった転送が困難なクラスの両方で、本手法はロバスト性を示した。
• adversarial learning と動的特徴量センターオン一致の導入により、これらのコンponents を含まないベースラインモデルと比較して、mIoU が 1.5–2.5% 向上した。