[논문 리뷰] Multi-Domain Image Completion for Random Missing Input Data

Liyue Shen, Wentao Zhu외 10명|arXiv (Cornell University)|2020. 07. 10.

Generative Adversarial Networks and Image Synthesis참고 문헌 42인용 수 5

한 줄 요약

이 논문은 공유된 콘텐츠와 도메인별 스타일 표현을 분리하는 GAN 기반 프레임워크인 ReMIC을 제안한다. 이는 임의의 가시 도메인 하위 집합으로부터 누락된 이미지 도메인을 강건하게 생성할 수 있도록 한다. 이 방법은 다중 도메인 이미지 보완에서 최신 기술 성능을 달성하며, 분할과의 동시 학습을 가능하게 하여, 이미지 수집 시스템의 결함으로 인해 일부 모odal이 누락된 뇌종양 및 전립선 영상 데이터셋에서도 분할 정확도를 크게 향상시킨다.

ABSTRACT

Multi-domain data are widely leveraged in vision applications taking advantage of complementary information from different modalities, e.g., brain tumor segmentation from multi-parametric magnetic resonance imaging (MRI). However, due to possible data corruption and different imaging protocols, the availability of images for each domain could vary amongst multiple data sources in practice, which makes it challenging to build a universal model with a varied set of input data. To tackle this problem, we propose a general approach to complete the random missing domain(s) data in real applications. Specifically, we develop a novel multi-domain image completion method that utilizes a generative adversarial network (GAN) with a representational disentanglement scheme to extract shared skeleton encoding and separate flesh encoding across multiple domains. We further illustrate that the learned representation in multi-domain image completion could be leveraged for high-level tasks, e.g., segmentation, by introducing a unified framework consisting of image completion and segmentation with a shared content encoder. The experiments demonstrate consistent performance improvement on three datasets for brain tumor segmentation, prostate segmentation, and facial expression image completion respectively.

연구 동기 및 목표

• 의료 영상에서 데이터 수집 문제로 일부 모달이 누락될 수 있는 상황에서, 완전하지 않은 다중 도메인 데이터로 학습 및 추론을 수행하는 데 도전하는 것.
• 다양한 가시 도메인 하위 집합으로부터 누락된 도메인 수(예: k개에서 n개)를 보완할 수 있는 일반화 가능하고 유연한 프레임워크를 개발하는 것.
• 이미지 보완 과정에서 학습한 분리된 표현이 분류와 같은 고수준 작업에 효과적으로 활용될 수 있는지 입증하는 것.
• 동일한 콘텐츠 인코더를 공유하는 통합 프레임워크로 이미지 보완과 분할을 통합하여, 누락된 도메인 분할 성능을 향상시키는 것.

제안 방법

• 다양한 이미지 도메인 간에 공유 콘텐츠 코드와 도메인 특화 스타일 코드를 학습하기 위해 표현 분리 기반의 GAN 기반 프레임워크를 제안한다.
• 공유된 의미적 표현을 추출하기 위한 콘텐츠 인코더와 도메인 특화 특징을 모델링하기 위한 스타일 인코더를 사용하여 표현 분리를 실현한다.
• 이미지 보완과 분할이 동일한 콘텐츠 인코더를 공유하는 통합 아키텍처를 채택하여 공동 최적화를 가능하게 한다.
• 정신적 일致성과 구조적 정밀도를 유지하기 위해 사이클-일致성 및 아이덴티티 손실을 포함한 다중 도메인 영상 변환 손실을 도입한다.
• 생성된 이미지의 현실성과 세부 사항을 향상시키기 위해 다중 해상도 판별자와 적대적 훈련을 적용한다.
• 콘텐츠 코드를 분할 헤드의 입력으로 사용하여, 이미지 보완과 분할의 공동 훈련을 확장한다.

실험 결과

연구 질문

• RQ1 일관되지 않은 입력 완전성으로 인해 다중 모odal 영상 데이터에서 누락된 도메인을 효과적으로 보완할 수 있는 통합 딥러닝 프레임워크가 존재하는가?
• RQ2 표현 분리 기반 방법이 픽셀 수준의 보정 방법에 비해 생성된 이미지의 의미 일관성에 얼마나 기여하는가?
• RQ3 이미지 보완 과정에서 학습한 분리된 콘텐츠 코드가 모달이 누락된 상황에서의 후속 분할 작업에 효과적으로 전이될 수 있는가?
• RQ4 이미지 보완과 분할을 공동으로 훈련하는 것이 별도 훈련 또는 보정 기반 접근법보다 더 나은 분할 성능을 낼 수 있는가?
• RQ5 제안된 방법이 뇌종양 및 얼굴 표정 데이터셋을 포함한 다양한 도메인에 대해 얼마나 잘 일반화되는가?

주요 결과

• ReMIC는 BraTS(뇌종양), ProstateX(전립선), RaFD(얼굴 표정) 세 가지 데이터셋에서 다중 도메인 이미지 보완 분야에서 최신 기술 성능을 달성하였으며, NRMSE, SSIM, PSNR 모두 일관된 향상을 보였다.
• BraTS 데이터셋에서 ReMIC+Joint는 모달이 누락된 상황에서도 전종양 분할에 대해 딱지 스코어 0.828을 기록하여 모든 베이스라인을 압도하고, 완전한 지도 학습 기반 오라클 모델에 근접한 성능을 보였다.
• ProstateX 데이터셋에서 ReMIC+Joint는 고광도 영역 분할에 대해 딱지 스코어 0.904를 기록하여, ADC 또는 T2-가중 영상이 누락된 비뇨기 영상 분야에 대해 강력한 일반화 능력을 입증하였다.
• 근접 이웃 또는 GAN 기반 기준 대비 생성된 이미지의 의미 일관성이 뚜렷하게 향상되었으며, 진짜 마스크와의 정렬도 향상됨을 확인하였다.
• 공유 콘텐츠 인코딩을 통한 이미지 보완과 분할의 공동 훈련은 우수한 분할 성능을 이끌어내었으며, 이는 분리된 표현이 의미 있는 해부학적 구조를 잘 포착하고 있음을 시사한다.
• 여러 도메인이 동시에 누락된 경우에도 높은 품질의 생성 결과를 보였으며, RaFD 실험을 통해 단 한 개 또는 두 개의 도메인만 가시할 경우(k=1에서 k=7까지)에도 우수한 성능이 유지됨을 입증하였다.