[논문 리뷰] From source to target and back: symmetric bi-directional adaptive GAN

Paolo Russo, Fabio Maria Carlucci외 2명|arXiv (Cornell University)|2017. 05. 24.

Generative Adversarial Networks and Image Synthesis참고 문헌 29인용 수 13

한 줄 요약

이 논문은 비대칭적 도메인 적응의 한계를 해결하기 위해 원본 도메인에서 목표 도메인으로, 그리고 목표 도메인에서 원본 도메인으로의 이중적 이미지 변환을 가능하게 하면서도 클래스 일致성을 보장하기 위한 새로운 손실을 도입한 대칭적 이중 방향 GAN인 SBADA-GAN을 제안한다. 이는 여섯 개의 벤치마크에서 최신 기술 성능을 달성하며, 네 개의 벤치마크에서 이전 방법들을 능가하며, 하이퍼파ram터에 대한 강건성과 고해상도 이미지 복원 능력을 보인다.

ABSTRACT

The effectiveness of generative adversarial approaches in producing images according to a specific style or visual domain has recently opened new directions to solve the unsupervised domain adaptation problem. It has been shown that source labeled images can be modified to mimic target samples making it possible to train directly a classifier in the target domain, despite the original lack of annotated data. Inverse mappings from the target to the source domain have also been evaluated but only passing through adapted feature spaces, thus without new image generation. In this paper we propose to better exploit the potential of generative adversarial networks for adaptation by introducing a novel symmetric mapping among domains. We jointly optimize bi-directional image transformations combining them with target self-labeling. Moreover we define a new class consistency loss that aligns the generators in the two directions imposing to conserve the class identity of an image passing through both domain mappings. A detailed qualitative and quantitative analysis of the reconstructed images confirm the power of our approach. By integrating the two domain specific classifiers obtained with our bi-directional network we exceed previous state-of-the-art unsupervised adaptation results on four different benchmark datasets.

연구 동기 및 목표

• 원본 도메인에서 목표 도메인으로의 단방향 도메인 적응의 한계를 해결하기 위해 원본 도메인과 목표 도메인 간에 대칭적이고 이중적인 이미지 변환을 가능하게 한다.
• 라벨이 부여된 원본 데이터는 존재하지만 목표 도메인에는 레이블이 제공되지 않는 비지도 도메인 적응 환경에서의 일반화 성능을 향상시킨다.
• 이중 도메인 변환 과정에서 의미적 정체성을 유지하기 위해 클래스 일치 손실을 도입하여 픽셀 수준의 복원에 의존도를 낮춘다.
• 변환된 목표 도메인 이미지에 대해 원본 분류기로부터 생성된 의사 레이블을 활용하여 모델의 강건성과 성능을 향상시킨다.
• 쌍체 데이터가 필요 없이 다양한 도메인 적응 설정에서 최신 기술 성능을 달성하는 분류 정확도를 확보한다.

제안 방법

• 원본 도메인에서 목표 도메인으로의 이미지 변환을 위한 $G_{st}$ (원본-목표)와 목표 도메인에서 원본 도메인으로의 이미지 변환을 위한 $G_{ts}$ (목표-원본) 두 개의 생성자 모델을 각각 학습하며, 실제적인 도메인 이동 이미지를 생성하기 위해 적대적 손실을 사용한다.
• 원본 이미지와 목표 도메인 입력에서 생성된 원본 유사 이미지에 대해 각각 분류 헤드를 공동 최적화한다.
• 의사 레이블링 적용: 원본 분류기를 사용해 목표 도메인에서 생성된 원본 유사 이미지에 레이블을 할당하고, 이를 통해 생성자 모델을 향상시키기 위해 역전파를 수행한다.
• 원본 이미지가 목표 도메인으로 매핑된 후 다시 원본 도메인으로 복원되었을 때 원래의 클래스 레이블을 유지하도록 보장하는 클래스 일치 손실을 도입한다.
• 각 도메인에서 진짜 이미지와 생성된 이미지를 구분하기 위해 공유된 판별자 $D_s$와 $D_t$를 사용하는 대칭 아키텍처를 구현한다.
• 가중치를 부여한 손실 구성 요소를 통해 학습 균형을 유지한다: 적대적 손실, 분류 손실, 자기 레이블링 손실, 클래스 일치 손실을 하이퍼파ram터 조정을 통해 안정성 확보.

실험 결과

연구 질문

• RQ1 비대칭적 접근 방식에 비해 대칭적 이중 방향 이미지 변환은 비지도 도메인 적응 성능 향상에 기여하는가?
• RQ2 픽셀 수준의 복원을 요구하지 않고도 이중 도메인 이미지 변환 과정에서 의미적 정체성을 유지하는 데 클래스 일치 손실이 얼마나 효과적인가?
• RQ3 생성된 목표 도메인 유사 원본 이미지에 대한 의사 레이블링이 자원이 제한된 목표 도메인에서 분류기의 일반화 성능 향상에 기여하는가?
• RQ4 특히 손실 가중치 설정에 따라 제안된 방법이 얼마나 강건한가?
• RQ5 작은 배치 크기와 비균형 클래스 분포 조건에서도 모델이 높은 성능을 유지할 수 있는가?

주요 결과

• SBADA-GAN은 여섯 개의 비지도 도메인 적응 벤치마크에서 최신 기술 성능을 달성하며, 이중의 방법들 중 네 개에서 이전 방법들을 능가한다.
• 클래스 일치 손실은 정방향 및 역방향 도메인 매핑 간의 정렬을 크게 향상시켜 의미적 보존을 강화하면서 픽셀 수준의 복원을 강제하지 않아도 된다.
• 배치 크기를 32에서 16으로 줄였을 때도 Synth.Signs → GTSRB에서 96.7%의 높은 정확도를 유지하여 학습 안정성을 입증한다.
• 분류 손실과 클래스 일치 손실의 가중치를 다양하게 조정하더라도 정확도가 0.2% 미만으로 떨어지는 등 매우 낮은 성능 저하를 보이며 강건성을 입증한다.
• 반면 DA-SS 방법 [15]는 방문 손실 가중치 변화에 매우 민감하여 16퍼센트 포인트 이상의 성능 저하를 겪는 등 SBADA-GAN의 뛰어난 안정성과 대비된다.
• t-SNE 시각화 결과는 양방향에서 생성된 이미지가 목표 도메인 분포를 효과적으로 커버하고 있음을 확인하여 효과적인 도메인 전이가 이루어졌음을 검증한다.