[論文レビュー] A comparative study of semi- and self-supervised semantic segmentation of biomedical microscopy data

Nastassya Horlava, Alisa Mironenko+4 more|arXiv (Cornell University)|Nov 11, 2020

Cell Image Analysis Techniques参考文献 13被引用数 6

ひとこと要約

本研究では、UDAおよび対照的自己教師付き学習を用いて、生物学的顕微鏡画像の意味的セグメンテーションにおける半教師ありおよび自己教師付き学習を評価する。半教師あり学習では、最小限のラベル（たった10％でさえ）を用いることで、完全教師あり手法と同等の性能を達成していることが判明した。一方、自己教師付き学習は、複雑な生物学的構造に対しては困難であるが、単純な強度ベースのセグメンテーションタスクには有効である。

ABSTRACT

In recent years, Convolutional Neural Networks (CNNs) have become the state-of-the-art method for biomedical image analysis. However, these networks are usually trained in a supervised manner, requiring large amounts of labelled training data. These labelled data sets are often difficult to acquire in the biomedical domain. In this work, we validate alternative ways to train CNNs with fewer labels for biomedical image segmentation using. We adapt two semi- and self-supervised image classification methods and analyse their performance for semantic segmentation of biomedical microscopy images.

研究の動機と目的

• 大規模なアノテート済みデータが不足する生物学的顕微鏡画像における意味的セグメンテーションに、半教師ありおよび自己教師付き学習の実用性を評価すること。
• 代表的なコンピュータビジョン分野の半教師ありおよび自己教師付き学習手法が、複雑な生物学的画像セグメンテーションタスクに一般化可能かどうかを評価すること。
• 細胞および組織レベルのセグメンテーションを含む、さまざまな生物学的画像分野におけるラベル効率と性能のトレードオフを調査すること。
• 自己教師付き学習が、生物学的画像解析におけるアクティブラーニングやトランスファーラーニングのための事前学習またはブートストラップステップとしての可能性を検討すること。
• 現在の自己教師付きアプローチが、アノテーションなしでノイズが多く構造的に複雑な生物学的画像を処理する際の限界を同定すること。

提案手法

• U-Netバックボーンを用いて、半教師あり意味的セグメンテーションに向けたUnsupervised Data Augmentation（UDA）手法を適応した。
• 回転や反転などの空間的データオーグメンテーションを、画像および対応する正解マスクの両方に対して適用し、異なるオーグメンテーションビュー間での予測を整合させる。
• 元の画像・マスクペアと強力なオーグメンテーションを施したペアの予測の間で一貫性正則化損失を用い、モデルのロバスト性を強化した。
• ラベルなしの完全自己教師付き学習のために、対照的自己教師付き学習（SimCLR風）を適用し、ビューのオーグメンテーションと対照的損失を用いた。
• 各データセットごとに画素強度を正規化し、固定サイズ（半教師あり：512×512、自己教師あり：256×256）にクロップすることでデータセットを前処理した。
• 複数のデータセット（PhC（位相差）、FluoGFPおよびFluoHoechst（蛍光）、BigBrain（ヒストロロジカル脳断層画像））を用いてモデルを訓練し、クラスの複雑さに差があることを確認した。

実験結果

リサーチクエスチョン

• RQ1 生物学的顕微鏡画像における半教師あり学習で、限られたラベルデータを用いて完全教師あり手法と同等のセグメンテーション性能を達成できるか？
• RQ2 構造的複雑さが異なる生物学的画像データセットにおいて、自己教師付き学習の性能はどのように変化するか？
• RQ3 半教師あり手法が完全教師ありベースラインを上回るか、同等の性能を発揮するための最小ラベル比はどの程度か？
• RQ4 どのような状況下で、自己教師付き学習が一切のアノテーションなしに意味のあるセグメンテーションマスクを生成できるか？
• RQ5 自己教師付き事前学習と微調整を組み合わせることで、新しい未ラベル生物学的データセットにおける性能向上が図れるか？

主な発見

• 10％のラベルデータのみを用いた半教師あり学習が、全テストデータセットで完全教師あり学習と同等のセグメンテーション性能を達成した。
• UDAベースの半教師ありアプローチは、ラベル比の増加に伴い一貫した性能向上を示し、低比率ラベルでも最小限の性能低下にとどまった。
• 自己教師付き学習は、一貫した強度差がある単純な二値セグメンテーションタスク（例：FluoGFP、FluoHoechst）では良好に機能したが、BigBrainの皮質層のような複雑な構造では失敗した。
• 神経解剖学的タスクのような複雑なセグメンテーションタスクでは、自己教師付きモデルが退化解（例：定数出力を予測）に収束することが多く、損失に基づく監視が信頼できなくなった。
• 自己教師付きモデルは過剰にセグメンテーションされた出力を生成する傾向にあり、意味のあるクラスを抽出するにはフィルタリングや後処理が必要であることが示唆された。
• 本研究は、将来の生物学的セグメンテーションパイプラインにおいて、自己教師付き事前学習をアクティブラーニングやトランスファーラーニングと組み合わせる可能性を浮き彫りにした。