[논문 리뷰] Invertible Autoencoder for domain adaptation

Yunfei Teng, Anna Choromanska외 1명|arXiv (Cornell University)|2018. 02. 10.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 쌍화된 학습 데이터가 없을 때도 작동하는 비지도 이미지 간 도메인 적응을 위한 역가능한 오토인코더(InvAuto)를 제안한다. 이는 인코더와 디코더 간의 역함수 관계를 매개변수 공유와 정규직교성 조건을 통해 명시적으로 강제함으로써, 학습 가능한 매개변수를 최대 50% 감소시킨다. 이 방법은 기준 데이터셋에서 최고 성능을 기록하며, 자율주행 모델인 PilotNet의 성능을 유지하는 고품질의 비디오 번역을 가능하게 한다.

ABSTRACT

The unsupervised image-to-image translation aims at finding a mapping between the source ($A$) and target ($B$) image domains, where in many applications aligned image pairs are not available at training. This is an ill-posed learning problem since it requires inferring the joint probability distribution from marginals. Joint learning of coupled mappings $F_{AB}: A ightarrow B$ and $F_{BA}: B ightarrow A$ is commonly used by the state-of-the-art methods, like CycleGAN [Zhu et al., 2017], to learn this translation by introducing cycle consistency requirement to the learning problem, i.e. $F_{AB}(F_{BA}(B)) \approx B$ and $F_{BA}(F_{AB}(A)) \approx A$. Cycle consistency enforces the preservation of the mutual information between input and translated images. However, it does not explicitly enforce $F_{BA}$ to be an inverse operation to $F_{AB}$. We propose a new deep architecture that we call invertible autoencoder (InvAuto) to explicitly enforce this relation. This is done by forcing an encoder to be an inverted version of the decoder, where corresponding layers perform opposite mappings and share parameters. The mappings are constrained to be orthonormal. The resulting architecture leads to the reduction of the number of trainable parameters (up to $2$ times). We present image translation results on benchmark data sets and demonstrate state-of-the art performance of our approach. Finally, we test the proposed domain adaptation method on the task of road video conversion. We demonstrate that the videos converted with InvAuto have high quality and show that the NVIDIA neural-network-based end-to-end learning system for autonomous driving, known as PilotNet, trained on real road videos performs well when tested on the converted ones.

연구 동기 및 목표

• 쌍화된 학습 데이터가 없는 비지도 이미지 간 번역 문제의 불안정한 성격을 해결하기 위해.
• 사이클 일致성 이상의 수준에서 원천에서 타겟으로, 그리고 타겟에서 원천으로의 매핑 간의 명시적 역관계를 강제하기 위해.
• 인코더와 디코더 레이어 간의 매개변수를 공유하여 모델 복잡도를 감소시키기 위해.
• 도메인 적응된 이미지의 일반화 및 후속 작업(예: 자율주행)으로의 이식 가능성 향상을 위해.
• 역가능한 아키텍처가 실세계 배포에 적합한 고품질 번역을 제공할 수 있음을 보여주기 위해.

제안 방법

• InvAuto 아키텍처는 인코더와 디코더 레이어가 동일한 역할을 하도록 매개변수를 공유하고, 매핑을 정규직교성으로 제약함으로써 상호 역함수 관계를 강제한다.
• 각 인코더 레이어는 해당하는 디코더 레이어와 짝을 이루며, 이들은 반대 방향의 변환을 수행하고, 쌍 간에 매개변수를 공유한다.
• 안정적이고 역가능한 변환을 확보하기 위해 정규직교 가중치 행렬을 사용하여 매핑의 왜곡을 최소화한다.
• 학습 목표는 적대적 손실과 사이클 일치 손실을 조합하며, 추가로 정방향 및 역방향 매핑의 조합이 항등함수에 근접하도록 제약을 둔다.
• MLP 및 ResNet 기반 모델을 사용하여 MNIST와 CIFAR 데이터셋에서 이미지 간 번역 작업에 아키텍처를 적용한다.
• 매개변수 효율성과 재구성 품질에 대한 분석을 포함하여, 지도가 아닌 도메인 적응 작업(예: 지도에서 위성 이미지 번역, 야간에서 주간 비디오 번역)에서 평가한다.

실험 결과

연구 질문

• RQ1 인코더와 디코더 간의 명시적 역가능성 강제가 사이클 일치성 이상의 비지도 도메인 적응 성능 향상에 기여하는가?
• RQ2 역가능한 오토인코더에서 가중치 묶음을 통한 매개변수 공유가 성능을 저하시키지 않으면서 모델 복잡도를 감소시키는가?
• RQ3 결과로 도출된 번역이 자율주행 모델인 PilotNet의 성능을 유지할 수 있을 정도로 의미적 및 구조적 정밀도를 잘 유지하는가?
• RQ4 이미지 품질과 매개변수 효율성 측면에서 InvAuto 아키텍처는 CycleGAN 및 UNIT과 같은 최고 성능 기준 모델과 어떻게 비교되는가?
• RQ5 정규직교성 제약 조건이 학습된 매핑의 안정성과 역가능성에 어느 정도 기여하는가?

주요 결과

• InvAuto는 기준 이미지 번역 작업에서 최고 성능을 기록하며, CycleGAN와 비슷하거나 약간 뒤지지만 매개변수 효율성이 뛰어나다.
• InvAuto에서 행렬 곱 DE는 항등행렬에 가장 가까운데, 이는 인코더-디코더 쌍이 CycleGAN나 VAE와 달리 거의 정확한 역함수임을 확인한다.
• 자율주행 기준 평가에서 InvAuto가 생성한 주간-야간 및 야간-주간 비디오는 PilotNet이 99.0% 자율주행 비율과 69.6% 위치 정밀도를 달성했으며, 원본 야간 영상보다는 유의미하게 높은 성능이다.
• 인코더와 디코더 레이어 간의 가중치 공유 덕분에 학습 가능한 매개변수 수를 최대 50%까지 줄일 수 있다.
• NVIDIA 평가 시스템에서 안정적인 성능 지표를 통해 프레임 간 일관성이 낮은 고품질 비디오를 유지함을 입증했다.
• 수치적 평가에서 InvAuto의 FID 점수는 CycleGAN 및 UNIT의 범위 내에 있으며, 주간-야간 번역 시 FID 0.062, 야간-주간 번역 시 FID 0.080로 CycleGAN의 최고 성능에 근접해 있다.