[논문 리뷰] Optimal Transport driven CycleGAN for Unsupervised Learning in Inverse Problems

Byeongsu Sim, Gyutaek Oh외 3명|arXiv (Cornell University)|2019. 09. 25.

Generative Adversarial Networks and Image Synthesis참고 문헌 50인용 수 16

한 줄 요약

이 논문은 최적 운반 이론을 사용하여 사이클GAN 아키텍처를 유도하는 새로운 비지도 학습 프레임워크인 OT-cycleGAN을 제안한다. 이는 물리 기반 데이터 일치도와 딥러닝 기반 역경로 정규화를 포함한 정규화된 최소 제곱 비용을 사용한다. 이 방법은 단일 또는 이중 생성자-판별자 쌍을 포함한 다양한 물리 기반의 유연한 사이클GAN 설계를 가능하게 하며, 쌍이 없는 훈련 데이터로도 가속 리모델링, 초해상도 현미경, 저선량 CT에서 지도 학습 수준의 성능을 달성한다.

ABSTRACT

To improve the performance of classical generative adversarial network (GAN), Wasserstein generative adversarial networks (W-GAN) was developed as a Kantorovich dual formulation of the optimal transport (OT) problem using Wasserstein-1 distance. However, it was not clear how cycleGAN-type generative models can be derived from the optimal transport theory. Here we show that a novel cycleGAN architecture can be derived as a Kantorovich dual OT formulation if a penalized least square (PLS) cost with deep learning-based inverse path penalty is used as a transportation cost. One of the most important advantages of this formulation is that depending on the knowledge of the forward problem, distinct variations of cycleGAN architecture can be derived: for example, one with two pairs of generators and discriminators, and the other with only a single pair of generator and discriminator. Even for the two generator cases, we show that the structural knowledge of the forward operator can lead to a simpler generator architecture which significantly simplifies the neural network training. The new cycleGAN formulation, what we call the OT-cycleGAN, have been applied for various biomedical imaging problems, such as accelerated magnetic resonance imaging (MRI), super-resolution microscopy, and low-dose x-ray computed tomography (CT). Experimental results confirm the efficacy and flexibility of the theory.

연구 동기 및 목표

• 최적 운반 이론과 사이클GAN 간의 격차를 메우기 위해 원칙적이고 물리 기반의 사이클GAN 아키텍처를 유도하기 위해.
• 쌍이 없는 훈련 데이터가 존재하는 생물의학 영상에서의 비지도 역문제 해결 과제를 해결하기 위해.
• 전방 연산자에 대한 지식 수준에 따라 유연하게 적응할 수 있는 프레임워크를 개발하기 위해.
• 가속 리모델링, 초해상도 현미경, 저선량 CT와 같은 애플리케이션에서 쌍이 없는 데이터만을 사용하여 고품질 이미지 복원을 가능하게 하기 위해.
• 지상 진실 레이블에 접근할 수 없음에도 불구하고 비지도 사이클GAN이 지도 학습 방법과 유사한 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 이 방법은 데이터 일치도와 딥러닝 기반 역경로 페널티를 결합한 새로운 정규화된 최소 제곱(Penalized Least Squares, PLS) 비용을 사용하여 역문제를 수식화한다. 이 페널티가 운반 비용으로 기능한다.
• PLS 비용 하에서 최적 운반 문제의 칸토로비치 쌍대 형식으로 OT-cycleGAN을 유도하며, WGAN 이론과 사이클 일관성 있는 GAN을 연결한다.
• 이 프레임워크는 여러 아키텍처 변형을 허용한다: 전방 연산자가 알려져 있을 경우 단일 생성자-판별자 쌍, 전방 연산자가 모를 경우 이중 쌍.
• 생성자는 스kip 연결을 포함한 U-Net 아키텍처로, 판별자는 인스턴스 정규화와 ReLU 활성화를 사용한 PatchGAN으로 구현된다.
• 훈련은 판별자의 1-Lipschitz 제약 조건을 강제하기 위해 WGAN-GP를 사용하며, 배치 크기 20로 Adam 옵timizer를 적용한다.
• 이 접근법은 쌍이 없는 데이터를 사용하여 세 가지 역문제에 적용된다: 가속 리모델링, 초해상도 현미경, 저선량 CT.

실험 결과

연구 질문

• RQ1 물리 기반의 운반 비용을 사용하여 최적 운반 이론에서 사이클GAN 아키텍처를 체계적으로 도출할 수 있는가?
• RQ2 딥러닝 기반의 역경로 페널티를 통합할 경우 사이클GAN의 안정성과 성능은 역문제에서 어떻게 영향을 받는가?
• RQ3 전방 연산자에 대한 지식에 따라 OT 공식화에서 유도되는 사이클GAN의 아키텍처 변형은 무엇인가?
• RQ4 비지도 OT-cycleGAN은 쌍이 없는 데이터로도 지도 학습 수준의 복원 품질을 달성할 수 있는가?
• RQ5 제안된 프레임워크는 다양한 전방 모델을 가진 생물의학 영상 응용 분야로 어떻게 일반화되는가?

주요 결과

• 제안된 OT-cycleGAN은 저선량 CT 복원에서 PSNR 38.20 dB, SSIM 0.92를 달성했으며, 지도 학습 기준선(PSNR: 38.66 dB, SSIM: 0.93)과 매우 유사한 성능을 보였다.
• 저선량 CT 노이즈 제거에서, 쌍이 없는 훈련 데이터만을 사용했음에도 불구하고 비지도 OT-cycleGAN은 시각적 및 정량적 측면에서 지도 학습과 유사한 결과를 도출했다.
• 이 방법은 쌍이 없는 데이터만을 사용하여 가속 리모델링과 초해상도 현미경에서 고품질 이미지를 성공적으로 복원하여 다양한 역문제에 대한 일반화 능력을 입증했다.
• 프레임워크는 전방 연산자가 알려져 있는지 여부에 따라 단일 또는 이중 생성자-판별자 쌍의 다양한 형태를 지원하여 맞춤형 네트워크 설계를 가능하게 한다.
• PLS 비용 내에서 딥러닝 기반의 역경로 페널티 사용은 복원 정밀도를 향상시키고, 특히 불안정한 역문제에서 훈련을 안정화시키는 데 기여했다.
• 이론적 유도 결과로 OT-cycleGAN이 새로운 PLS 비용을 갖는 최적 운반 문제의 칸토로비치 쌍대 형식임을 확인하였으며, 이는 비지도 GAN의 역문제 응용에 체계적인 기반을 제공한다.