[論文レビュー] Towards semi-supervised segmentation via image-to-image translation

Eugene Vorontsov, Pavlo Molchanov+7 more|arXiv (Cornell University)|Apr 2, 2019

Domain Adaptation and Few-Shot Learning参考文献 32被引用数 4

ひとこと要約

本論文は、弱いラベル（例：疾患の有無）とセグメンテーションマスクの間での画像対画像変換を活用して、限られたピクセルレベルのアノテーションで性能を向上させる半教師ありセマンティックセグメンテーションフレームワークを提案する。翻訳とセグメンテーションの両タスクにエンコーダーとデコーダーを共有し、ドメイン固有の変化を効果的にモデル化することで、MRIにおける脳腫瘍セグメンテーションで顕著な向上を達成し、標準的な自己符号化に基づく半教師ありアプローチを上回る性能を示した。

ABSTRACT

In many cases, especially with medical images, it is prohibitively challenging to produce a sufficiently large training sample of pixel-level annotations to train deep neural networks for semantic image segmentation. On the other hand, some information is often known about the contents of images. We leverage information on whether an image presents the segmentation target or whether it is absent from the image to improve segmentation performance by augmenting the amount of data usable for model training. Specifically, we propose a semi-supervised framework that employs image-to-image translation between weak labels (e.g., presence vs. absence of cancer), in addition to fully supervised segmentation on some examples. We conjecture that this translation objective is well aligned with the segmentation objective as both require the same disentangling of image variations. Building on prior image-to-image translation work, we re-use the encoder and decoders for translating in either direction between two domains, employing a strategy of selectively decoding domain-specific variations. For presence vs. absence domains, the encoder produces variations that are common to both and those unique to the presence domain. Furthermore, we successfully re-use one of the decoders used in translation for segmentation. We validate the proposed method on synthetic tasks of varying difficulty as well as on the real task of brain tumor segmentation in magnetic resonance images, where we show significant improvements over standard semi-supervised training with autoencoding.

研究の動機と目的

• 医療画像セグメンテーションにおける限られたピクセルレベルのアノテーションの課題に対処すること、特にMRIにおいて。
• 疾患の有無などの弱い監視信号（例：腫瘍の有無）を活用してセグメンテーション性能を向上させること。
• 共有されたエンコーダ・デコーダアーキテクチャを通じて、画像対画像変換とセマンティックセグメンテーションを統合すること。
• 弱いラベルとセグメンテーションマスクの間の変換が、意味的な自己教師信号として機能するかどうかを検討すること。

提案手法

• 本フレームワークは、存在／非存在の両ドメインに共通する特徴を抽出する共有エンコーダに加え、存在クラス固有の特徴を処理する。
• 2つのデコーダを採用：1つは存在／非存在ラベルから画像への変換、もう1つは画像からセグメンテーションマスクへの変換。
• 構造的整合性を保証するため、弱いラベルとセグメンテーションマスクの間でサイクル整合性を持つGANベースの画像対画像変換ネットワークを訓練する。
• ドメイン固有の変化は、アテンション機構やスカイプ接続を用いて選択的にデコードし、ターゲット固有の詳細を保持する。
• セグメンテーションデコーダは翻訳ブランチから再利用され、パラメータ共有と共同最適化を可能にする。
• 翻訳とセグメンテーションの両目的を統合的な訓練目的に統合することで、特徴の分離性と一般化性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 弱いラベル（存在／非存在）とセグメンテーションマスクの間での画像対画像変換が、半教師ありセグメンテーション性能を向上させ得るか？
• RQ2 翻訳とセグメンテーションタスク間の共有表現学習が、特徴の分離性をどのように向上させるか？
• RQ3 本手法は、自己符号化に基づく標準的な半教師あり学習を上回る性能を示すか？
• RQ4 翻訳とセグメンテーションの目的の整合性が、特徴学習の観点でどの程度の利益をもたらすか？
• RQ5 本フレームワークは、合成的および現実世界の医療画像処理タスクに一般化可能か？

主な発見

• 本手法は、自己符号化に基づく標準的な半教師あり学習に比べ、MRIにおける脳腫瘍セグメンテーションで顕著な性能向上を達成した。
• 完全にアノテートされた訓練サンプルが非常に少ない状況でも、セグメンテーション精度が向上し、優れたデータ効率性を示した。
• 翻訳とセグメンテーションタスクの共同訓練により、コンテンツ特徴とドメイン固有特徴の分離性が向上した。
• 翻訳ブランチからセグメンテーションデコーダを再利用することで、パラメータ数が削減され、訓練の安定性が向上した。
• さまざまな難易度の合成タスクに対しても、本手法は良好な一般化性能を示し、その頑健性とスケーラビリティを確認した。
• アブレーションスタディの結果、サイクル整合性のある翻訳目的が性能向上に寄与していることが確認された。