[論文レビュー] Multi-Domain Image Completion for Random Missing Input Data

Liyue Shen, Wentao Zhu+10 more|arXiv (Cornell University)|Jul 10, 2020

Generative Adversarial Networks and Image Synthesis参考文献 42被引用数 5

ひとこと要約

本稿では、共有コンテンツとドメイン固有のスタイル表現を分離することで、任意の可視ドメインサブセットから欠落している画像ドメインを強力に生成できる、GANベースの新規フレームワークReMICを提案する。この手法は、画像補完において最先端の性能を達成し、セグメンテーションと共同学習を可能にし、画像収集に問題がある医療画像分野において、欠落したモodalitiesが存在する状況でも脳腫瘍および前立腺画像データセットでのセグメンテーション精度を著しく向上させる。

ABSTRACT

Multi-domain data are widely leveraged in vision applications taking advantage of complementary information from different modalities, e.g., brain tumor segmentation from multi-parametric magnetic resonance imaging (MRI). However, due to possible data corruption and different imaging protocols, the availability of images for each domain could vary amongst multiple data sources in practice, which makes it challenging to build a universal model with a varied set of input data. To tackle this problem, we propose a general approach to complete the random missing domain(s) data in real applications. Specifically, we develop a novel multi-domain image completion method that utilizes a generative adversarial network (GAN) with a representational disentanglement scheme to extract shared skeleton encoding and separate flesh encoding across multiple domains. We further illustrate that the learned representation in multi-domain image completion could be leveraged for high-level tasks, e.g., segmentation, by introducing a unified framework consisting of image completion and segmentation with a shared content encoder. The experiments demonstrate consistent performance improvement on three datasets for brain tumor segmentation, prostate segmentation, and facial expression image completion respectively.

研究の動機と目的

• 収集上の問題により一部のモダリティが欠落する可能性がある医療画像分野を含め、不完全なマルチドメインデータでの学習と推論の課題に対処すること。
• 可変な可視ドメインサブセットから任意の数の欠落ドメイン（kからn）を補完できる汎用的で柔軟なフレームワークの開発。
• 画像補完のために学習した分離表現が、セグメンテーションのような高レベルタスクに効果的に活用できるかどうかの検証。
• 共通のコンテンツエンコーダーを共有する1つのフレームワークに画像補完とセグメンテーションを統合し、欠落ドメインのセグメンテーション性能を向上させること。

提案手法

• 複数の画像ドメインにわたる共有コンテンツコードとドメイン固有のスタイルコードを学習するため、表現の分離を実現したGANベースのフレームワークを提案。
• 共有セマンティック表現を抽出するコンテンツエンコーダーと、ドメイン固有の特徴をモデル化するスタイルエンコーダーを用い、分離された生成を実現。
• 画像補完とセグメンテーションが同じコンテンツエンコーダーを共有する統合アーキテクチャを採用し、共同最適化を可能に。
• 意味的整合性と構造的正確性を保つために、サイクル整合性とアイデンティティ損失を組み合わせたマルチドメイン画像変換損失を導入。
• 高精細で現実的な生成画像を得るために、マルチスケールディスクライマと adversarial 学習を採用。
• コンテンツコードをセグメンテーションヘッドの入力として使用することで、画像補完とセグメンテーションの共同学習を拡張。

実験結果

リサーチクエスチョン

• RQ1 任意の入力完全性を持つマルチモodal画像データにおいて、統合されたディープラーニングフレームワークが欠落ドメインを効果的に補完できるか。
• RQ2 ピクセルレベルの補完手法と比較して、分離表現学習が生成画像における意味的整合性をどのように向上させるか。
• RQ3 画像補完の過程で学習した分離コンテンツコードが、欠落したモダリティを伴う下流のセグメンテーションタスクに効果的に転送可能か。
• RQ4 画像補完とセグメンテーションの共同学習は、分離学習や補完ベースのアプローチと比較して、より優れたセグメンテーション性能をもたらすか。
• RQ5 本手法は、医療画像や顔の表情データセットを含む多様なドメインに一般化できるか。

主な発見

• ReMICは、脳腫瘍（BraTS）、前立腺（ProstateX）、顔の表情（RaFD）の3つのデータセットにおいて、NRMSE、SSIM、PSNRの観点で一貫した向上を示し、マルチドメイン画像補完で最先端の性能を達成。
• BraTSデータセットでは、ReMIC+Jointが欠落したモダリティを伴う全腫瘍セグメンテーションでDiceスコア0.828を達成し、すべてのベースラインを上回り、完全に教師ありのOracleモデルに近い性能を示した。
• ProstateXデータセットでは、ReMIC+Jointが高輝度領域でDiceスコア0.904を達成し、ADCまたはT2強調画像が欠落している泌尿器科画像分野への強い一般化能力を示した。
• 最近傍探索やGANベースのベースラインと比較して、生成画像の意味的整合性が著しく向上しており、正解のセグメンテーションマスクとの整合性が良好であることが示された。
• 共通コンテンツ符号を介した画像補完とセグメンテーションの共同学習により、優れたセグメンテーション性能が得られ、分離表現が意味のある解剖学的構造を捉えていることが示された。
• 複数の欠落ドメインに対しても良好な一般化が見られ、RaFDの実験では、1つまたは2つのドメインしか可視でない場合（k=1からk=7）でも高品質な生成が観察された。