[论文解读] Multi-Domain Image Completion for Random Missing Input Data

Liyue Shen, Wentao Zhu+10 more|arXiv (Cornell University)|Jul 10, 2020

Generative Adversarial Networks and Image Synthesis参考文献 42被引用 5

一句话总结

本文提出 ReMIC，一种基于 GAN 的新型多域图像补全框架，通过解耦共享内容与域特定风格表征，实现从任意可见域子集稳健生成缺失图像域。该方法在图像补全任务中达到最先进性能，并可与分割任务联合学习，在脑肿瘤和前列腺影像数据集上即使在模态缺失的情况下也显著提升了分割精度。

ABSTRACT

Multi-domain data are widely leveraged in vision applications taking advantage of complementary information from different modalities, e.g., brain tumor segmentation from multi-parametric magnetic resonance imaging (MRI). However, due to possible data corruption and different imaging protocols, the availability of images for each domain could vary amongst multiple data sources in practice, which makes it challenging to build a universal model with a varied set of input data. To tackle this problem, we propose a general approach to complete the random missing domain(s) data in real applications. Specifically, we develop a novel multi-domain image completion method that utilizes a generative adversarial network (GAN) with a representational disentanglement scheme to extract shared skeleton encoding and separate flesh encoding across multiple domains. We further illustrate that the learned representation in multi-domain image completion could be leveraged for high-level tasks, e.g., segmentation, by introducing a unified framework consisting of image completion and segmentation with a shared content encoder. The experiments demonstrate consistent performance improvement on three datasets for brain tumor segmentation, prostate segmentation, and facial expression image completion respectively.

研究动机与目标

• 为解决在多域数据不完整情况下的训练与推理挑战，特别是在医学影像中某些模态因采集问题而缺失的情形。
• 开发一种可泛化、灵活的框架，能够从可见域的可变子集完成任意数量缺失域（k-to-n）的补全。
• 证明为图像补全学习到的解耦表征可有效用于高层任务（如分割）。
• 将图像补全与分割统一于单一框架中，共享内容编码器，从而提升缺失域分割的性能。

提出的方法

• 提出一种基于 GAN 的框架，通过表征解耦，在多个图像域之间学习共享内容码与域特定风格码。
• 使用内容编码器提取共享语义表征，使用风格编码器建模域特定特征，实现解耦生成。
• 采用统一架构，使图像补全与分割共享同一内容编码器，支持联合优化。
• 引入多域图像翻译损失，结合循环一致性损失与身份损失，以保持语义一致性和结构保真度。
• 采用多尺度判别器与对抗训练，提升生成图像的真实感与细节质量。
• 将框架扩展至图像补全与分割的联合训练，将内容码作为分割头的输入。

实验结果

研究问题

• RQ1 统一的深度学习框架能否有效完成多模态图像数据中任意输入完整性下的缺失域补全？
• RQ2 与像素级插补方法相比，解耦表征学习如何提升生成图像的语义一致性？
• RQ3 在图像补全过程中学习到的解耦内容码能否有效迁移至缺失模态的下游分割任务？
• RQ4 通过共享内容编码实现图像补全与分割的联合训练，是否能优于独立训练或基于插补的方法？
• RQ5 所提出方法在包括医学影像和面部表情数据集在内的多样化领域中，泛化能力如何？

主要发现

• ReMIC 在三个数据集（BraTS（脑肿瘤）、ProstateX（前列腺）和 RaFD（面部表情））上均实现了多域图像补全的最先进性能，NRMSE、SSIM 和 PSNR 指标持续提升。
• 在 BraTS 数据集上，ReMIC+Joint 在模态缺失情况下实现全肿瘤分割的 Dice 分数为 0.828，优于所有基线模型，接近完全监督的 Oracle 模型性能。
• 在 ProstateX 数据集上，ReMIC+Joint 在高亮度区域实现 0.904 的 Dice 分数，表明其在缺失 ADC 或 T2 加权图像的泌尿系统影像中具有强大的泛化能力。
• 该方法显著提升了生成图像的语义一致性，表现为与真实分割掩膜的对齐效果优于最近邻或基于 GAN 的基线方法。
• 通过共享内容编码实现图像补全与分割的联合训练，可获得更优的分割性能，表明解耦表征捕捉到了有意义的解剖结构。
• 该框架在多个缺失域场景下泛化良好，即使仅有一到两个域可见（k=1 至 k=7），也能生成高质量结果，RaFD 实验已验证此现象。