[논문 리뷰] Cooperative Training of Fast Thinking Initializer and Slow Thinking Solver for Conditional Learning

Jianwen Xie, Zilong Zheng외 3명|arXiv (Cornell University)|2019. 02. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 77인용 수 5

한 줄 요약

이 논문은 조건부 생성 작업을 위한 빠른 사고 방식의 초기화 모델과 천천히 사고하는 최적화 모델을 공동으로 훈련하는 협동 학습 프레임워크인 CCoopNets를 제안한다. 초기화 모델은 노이즈 조건부 초기 출력을 직접 제공하고, 최적화 모델은 학습된 에너지 기반 목적 함수를 사용해 반복 최적화를 통해 이를 개선한다. 두 모델은 개선 지식을 상호로 복소화함으로써 상호 발전하며, 이미지 간 번역 및 이미지 복원 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This paper studies the problem of learning the conditional distribution of a high-dimensional output given an input, where the output and input may belong to two different domains, e.g., the output is a photo image and the input is a sketch image. We solve this problem by cooperative training of a fast thinking initializer and slow thinking solver. The initializer generates the output directly by a non-linear transformation of the input as well as a noise vector that accounts for latent variability in the output. The slow thinking solver learns an objective function in the form of a conditional energy function, so that the output can be generated by optimizing the objective function, or more rigorously by sampling from the conditional energy-based model. We propose to learn the two models jointly, where the fast thinking initializer serves to initialize the sampling of the slow thinking solver, and the solver refines the initial output by an iterative algorithm. The solver learns from the difference between the refined output and the observed output, while the initializer learns from how the solver refines its initial output. We demonstrate the effectiveness of the proposed method on various conditional learning tasks, e.g., class-to-image generation, image-to-image translation, and image recovery. The advantage of our method over GAN-based methods is that our method is equipped with a slow thinking process that refines the solution guided by a learned objective function.

연구 동기 및 목표

• 스케치에서 이미지로 또는 클래스에서 이미지로의 생성과 같은 입력과 출력이 서로 다른 도메인에 속하는 고차원 조건부 분포 학습의 과제를 해결한다.
• 학습된 목적 함수에 의해 이끌리는 구조적이고 반복적인 개선 과정을 도입함으로써 GAN 기반 방법의 한계를 극복한다.
• 빠른 초기화 모델과 천천히 사고하는 최적화 모델이 상호 지식 복소화를 통해 상호 개선하는 공동 훈련 프레임워크를 개발한다.
• 직접 매핑과 반복 최적화를 조합함으로써 조건부 학습 과제에서 강력하고 고품질의 생성을 가능하게 한다.
• 신경망 초기화 모델과 랭글레인 역학 기반 최적화 모델을 활용해 이미지 복원 성능을 향상시킨다.

제안 방법

• 빠른 사고 방식의 초기화 모델은 조건과 노이즈 벡터를 직접 입력으로 받아 초기 출력을 생성하는 신경망을 사용하며, 조상 샘플링을 통해 빠른 생성을 가능하게 한다.
• 천천히 사고하는 최적화 모델은 학습된 에너지 함수로 정의된 조건부 에너지 기반 모델을 사용하며, 랭글레인 역학 샘플링을 통해 반복적인 개선을 이끈다.
• 최적화 모델은 에너지 함수를 최소화함으로써 초기화 모델의 출력을 개선하며, 이는 확률적 경사 하강 단계를 통해 효과적으로 최적화를 수행한다.
• 초기화 모델은 초기 출력과 최적화 모델의 개선 출력 간의 차이를 지도 신호로 사용하여 최적화 모델의 개선 출력을 예측하도록 훈련된다.
• 최적화 모델은 개선 출력을 목표로 삼아 목적 함수 적응을 위한 기반으로 삼고, 에너지 함수의 최소값을 관측된 진짜 출력 쪽으로 이동시키도록 훈련된다.
• 공동 훈련은 초기 출력의 개선(해결 단계)과 두 모델의 경사 하강 기반 업데이트(학습 단계)를 번갈아 수행한다.

실험 결과

연구 질문

• RQ1 빠른 사고와 천천히 사고하는 사고 방식을 결합한 협동 훈련 프레임워크가 종단 간 GAN이나 변분 오토인코더를 넘어서 조건부 생성 성능을 향상시킬 수 있는가?
• RQ2 학습된 에너지 함수에 의해 이끄는 반복 최적화 과정을 통합함으로써 생성 출력의 품질과 다양성이 어떻게 향상되는가?
• RQ3 천천히 사고하는 최적화 모델이 빠른 사고 초기화 모델의 출력을 얼마나 잘 개선하여 진짜 데이터와의 일치도를 높일 수 있는가?
• RQ4 초기화 모델과 최적화 모델 간의 상호 복소화가 이미지 간 번역 및 복원 과제에서 일반화 능력과 강건성을 향상시키는 데 기여하는가?
• RQ5 정량적 지표와 정성적 샘플 품질 측면에서 협동 프레임워크가 기존의 적대적 및 변분 기반 방법을 초월하는가?

주요 결과

• CMP Facade 데이터셋에서 CCoopNets는 PSNR 20.47과 SSIM 0.77을 기록했으며, cVAE-GAN(19.43, 0.68), cVAE-GAN++(19.14, 0.64), BicycleGAN(19.07, 0.64), pix2pix(19.34, 0.74)를 모두 앞서며 성능을 뛰어넘었다.
• Paris Streetview 데이터셋에서 CCoopNets는 PSNR 21.17과 SSIM 0.79를 기록했으며, pix2pix(15.17, 0.75)를 포함한 모든 기준 모델을 뛰어넘었다.
• 최적화 모델만으로도 초기화 모델보다 더 높은 품질의 결과를 생성했으며, 이는 랭글레인 역학 기반 반복적 개선의 효과를 입증한다.
• CCoopNets의 모델 복잡도(55.84M 파라미터)는 cVAE-GAN++(64.30M)과 BicycleGAN(64.30M)보다 낮지만, 경쟁 가능한 추론 시간(22.43초/에포크)을 유지한다.
• 그림 16의 정성적 결과는 최적화 모델의 출력이 기준 모델보다 진짜 데이터에 더 충실하며, 특히 가림된 영역에서 복잡한 구조적 세부 정보를 회복하는 데 뛰어난 성능을 보임을 보여준다.
• 공동 훈련 과정을 통해 초기화 모델은 최적화 모델의 반복적 개선 과정으로부터 지식을 흡수함으로써 더 나은 초기화 전략을 학습하게 되었으며, 이는 전체 생성 품질 향상에 기여한다.