[論文レビュー] Pairwise Relation Learning for Semi-supervised Gland Segmentation

Yutong Xie, Jianpeng Zhang+4 more|arXiv (Cornell University)|Aug 6, 2020

AI in cancer detection参考文献 21被引用数 5

ひとこと要約

本論文では、特徴空間における画像間の対比較関係を活用して、ラベルなしデータからの表現学習を強化する半教師ありディープラーニングフレームワーク、PRS²を提案する。セグメンテーションネットワーク（S-Net）と対比較関係ネットワーク（PR-Net）の両者でエンコーダーを共有することにより、PRS²はセグメンテーション精度を向上させ、GlaSおよびCRAGベンチマークで最先端の性能を達成し、完全にアノテートされたトレーニングデータへの依存度を低減した。

ABSTRACT

Accurate and automated gland segmentation on histology tissue images is an essential but challenging task in the computer-aided diagnosis of adenocarcinoma. Despite their prevalence, deep learning models always require a myriad number of densely annotated training images, which are difficult to obtain due to extensive labor and associated expert costs related to histology image annotations. In this paper, we propose the pairwise relation-based semi-supervised (PRS^2) model for gland segmentation on histology images. This model consists of a segmentation network (S-Net) and a pairwise relation network (PR-Net). The S-Net is trained on labeled data for segmentation, and PR-Net is trained on both labeled and unlabeled data in an unsupervised way to enhance its image representation ability via exploiting the semantic consistency between each pair of images in the feature space. Since both networks share their encoders, the image representation ability learned by PR-Net can be transferred to S-Net to improve its segmentation performance. We also design the object-level Dice loss to address the issues caused by touching glands and combine it with other two loss functions for S-Net. We evaluated our model against five recent methods on the GlaS dataset and three recent methods on the CRAG dataset. Our results not only demonstrate the effectiveness of the proposed PR-Net and object-level Dice loss, but also indicate that our PRS^2 model achieves the state-of-the-art gland segmentation performance on both benchmarks.

研究の動機と目的

• ディープラーニングベースの腺セグメンテーションに向けた、限られたピクセル単位のアノテート済みヒストロロジー画像の課題に対処する。
• 半教師あり学習を通じてラベルなしデータを活用することで、高コストな専門家によるアノテーションへの依存度を低減する。
• 接している腺や接着縁を含む状況下でもセグメンテーションのロバスト性を向上させる。
• 特徴空間における画像ペア間の意味的整合性を活用して特徴表現を強化する。
• 個々の腺に制約を課すことで境界精度を向上させるマルチレベル損失関数を開発する。

提案手法

• 2本のブランチからなるモデルを提案：セグメンテーションのための教師ありS-Netと、対比較関係を通じた画像表現学習のための非教師ありPR-Net。
• 同じ腺の意味的特徴を共有する画像ペアの特徴埋め込み間に意味的整合性を強制することで、ラベルありおよびラベルなしデータの両方でPR-Netを訓練する。
• S-NetとPR-Netの間でエンコーダー重みを共有することで、PR-NetからS-Netへの表現知識の転送を実現する。
• 重なりや接している腺の問題に対処するため、個体レベルのDice損失を導入する。
• 個体レベルのDice損失をピクセル単位の交差エントロピー損失とグローバルDice損失と組み合わせ、S-Netのためのマルチレベル損失を構築する。
• データオーグメンテーションによる一貫性正則化と、画像ペア間の特徴レベルの整合性を用いて、ロバスト性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 特徴空間における画像ペア間の対比較的意味的整合性は、アノテーションが存在しない状況下で表現学習を向上させ得るか？
• RQ2 個体レベルのDice損失を組み込むことで、重なっているまたは接している腺のセグメンテーション性能が向上するか？
• RQ3 ラベルなしデータを活用することで、性能を落とさずに必要な密なアノテート済みトレーニング画像の数をどの程度削減できるか？
• RQ4 限定的监督下における最先端の手法と比較して、提案されたPRS²モデルは腺セグメンテーションでどの程度優れているか？
• RQ5 PR-Netが学習した表現は、重み共有を通じてセグメンテーションネットワークの性能向上に一般化可能か？

主な発見

• PRS²はGlaSデータセットでオブジェクト-Fスコア84.3、オブジェクト-Dスコア89.2を達成し、5つの最近の手法を上回る最先端の性能を示した。
• CRAGデータセットでは、オブジェクト-Fスコア82.1、オブジェクト-Dスコア87.1を達成し、3つの最近の最先端モデルを上回った。
• ラベル付きトレーニングデータの50％のみを用いても、PRS²はGlaSおよびCRAGの両データセットで100％ラベル付きデータで訓練された完全教師ありS-Netと同等の性能を達成した。
• ラベル付きデータをたった20％にまで減らしても、PRS²は50％ラベル付きデータで訓練された完全教師ありS-Netと同等の性能を達成した。
• アブレーションスタディの結果、個体レベルのDice損失を含むマルチレベル損失が、個々の損失成分よりも顕著にセグメンテーション性能を向上させた。
• PR-Netによるラベルなしデータ上の非教師あり学習が特徴表現を強化し、共有エンコーダーを通じてS-Netの性能向上に明確な寄与を示した。