[논문 리뷰] ReLGAN: Generalization of Consistency for GAN with Disjoint Constraints and Relative Learning of Generative Processes for Multiple Transformation Learning

Chiranjib Sur|arXiv (Cornell University)|2020. 06. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 7인용 수 4

한 줄 요약

ReLGAN은 변환 학습(Transformation Learning, TL)과 상대 학습(Relative Learning, ReL)에서 분리된 제약 조건을 통해 일致성과 일반화 능력을 향상시키는 새로운 GAN 아키텍처를 제안한다. 특징 수준의 변환과 배경 텍스처 개선을 분리함으로써, ReLGAN은 쌍화된 데이터가 없는 의료 관련 이미지 번역 작업에서 CycleGAN을 능가하며, 더 높은 정밀도와 더 적은 잡음으로 성능을 발휘한다.

ABSTRACT

Image to image transformation has gained popularity from different research communities due to its enormous impact on different applications, including medical. In this work, we have introduced a generalized scheme for consistency for GAN architectures with two new concepts of Transformation Learning (TL) and Relative Learning (ReL) for enhanced learning image transformations. Consistency for GAN architectures suffered from inadequate constraints and failed to learn multiple and multi-modal transformations, which is inevitable for many medical applications. The main drawback is that it focused on creating an intermediate and workable hybrid, which is not permissible for the medical applications which focus on minute details. Another drawback is the weak interrelation between the two learning phases and TL and ReL have introduced improved coordination among them. We have demonstrated the capability of the novel network framework on public datasets. We emphasized that our novel architecture produced an improved neural image transformation version for the image, which is more acceptable to the medical community. Experiments and results demonstrated the effectiveness of our framework with enhancement compared to the previous works.

연구 동기 및 목표

• 의료 영상에서 정밀도가 중요한 상황에서 다수의 다중 모달성 및 일致성 있는 이미지 변환을 학습하는 데에 한계를 보이는 기존 GAN의 문제를 해결한다.
• 사이클 일관성 GAN에서 발생하는 하이브리드화 및 구조적 손실 문제를 해결하기 위해 특징 학습과 텍스처 학습을 위한 분리된 제약 조건을 도입한다.
• 상대 학습(ReL)을 통해 생성자 간 비교적이고 기울기 매끄러운 메커니즘을 도입함으로써 비지도 이미지 번역에서의 일반화 능력과 표현 학습 능력을 향상시킨다.
• 세부 정보를 유지하고 부적절한 객체 생성을 최소화함으로써 더 정확하고 의료적으로 수용 가능한 이미지 번역을 가능하게 한다.
• 공개된 데이터셋에서 프레임워크의 효과성을 입증하며, 특히 쌍화된 데이터가 없는 다중 도메인 번역 작업에서의 성능을 강조한다.

제안 방법

• 다중 생성자 간 특징 수준의 변환(예: 장기 탐지, 색조화)을 별도로 모델링하기 위해 분리된 제약 조건 메커니즘인 변환 학습(TL)을 도입한다.
• 두 생성자에서 생성된 이미지 간의 차이를 평가하는 비교 학습 전략으로 상대 학습(ReL)을 구현하여 텍스처 일관성 향상과 급격한 기울기 감소를 달성한다.
• 학습 과정을 두 단계로 분리한다: TL은 핵심적인 특징 번역을 담당하고, ReL은 배경 및 구조적 개선을 담당함으로써 기울기 포화를 방지한다.
• 사이클 일관성을 유지하는 이중 생성자, 이중 판별자 아키텍처를 사용하지만, 실재 및 생성된 특징의 강제 하이브리드화를 방지하기 위해 분리된 제약 조건을 도입하여 일반화를 향상시킨다.
• 대부분의 손실 함수 외에 ReL에서 유도된 새로운 상대 일관성 손실를 도입하여, 훈련 안정성과 일반화 능력을 향상시키기 위해 엔드 투 엔드 훈련을 수행한다.
• 생성자 간 잠재 공간 비교를 통해 상대 지식 전달을 강제함으로써, 쌍화된 감독 없이도 더 매끄럽고 자연스러운 이미지 번역을 가능하게 한다.

실험 결과

연구 질문

• RQ1 GAN 기반의 이미지 번역이 특징 정밀도를 훼손하지 않으면서도 다수의 다중 모달 변환을 지원하기 위해 어떻게 일반화될 수 있는가?
• RQ2 특히 구조적 정확성이 필수적인 의료 영상에서, 비지도 번역에서의 일관성 향상과 잡음 생성 감소를 위한 메커니즘은 무엇인가?
• RQ3 변환과 상대 학습에서의 분리된 제약 조건이 표준 사이클 일관성 외에도 생성자 및 판별자 단계 간의 협업을 어떻게 향상시킬 수 있는가?
• RQ4 전통적인 다중 손실 훈련 대비 상대 학습(ReL)이 GAN에서 일반화 능력 향상과 과적합 감소에 얼마나 기여하는가?
• RQ5 쌍화된 훈련 데이터가 없는 상황에서 ReLGAN은 사이클 GAN 대비 어떤 식으로 다중 도메인 이미지 번역 작업에서 성능을 발휘하는가?

주요 결과

• ReLGAN은 zebra-horse 데이터셋에서 CycleGAN을 능가하여 더 현실적이고 세부 사항이 풍부하며 잡음이 적은 번역 결과를 생성했으며, 특히 비제브라 영역에서 뚜렷한 성능 향상을 보였다.
• 모델은 CycleGAN이 자주 왜곡하는 비대상 특징(예: 비말라 흑색 텍스처)의 구조적 일관성을 성공적으로 유지했다.
• 상대 학습(ReL)은 더 매끄러운 기울기와 일반화 능력 향상을 기여하여 과적합을 감소시키고 배경 텍스처 번역 품질을 향상시켰다.
• TL과 ReL에서의 분리된 제약 조건 덕분에 특징 학습과 텍스처 학습 간의 더 나은 조율이 가능해져, 기존 GAN에서 흔히 발생하는 하이브리드화 문제를 방지할 수 있었다.
• 시각적 검토 결과, ReLGAN이 생성한 이미지가 더 높은 지각적 품질과 더 나은 진짜 레이블 의미와의 일치도를 보였으며, 특히 의료 관련 시나리오에서 뚜렷하게 확인되었다.
• 의료 영상에서 사용되는 내부 데이터셋에서도 높은 성능을 보이며, 정밀도가 요구되는 임상 적용 가능성을 시사했다.