[논문 리뷰] Distributional Adversarial Networks

Chengtao Li, David Alvarez-Melis외 3명|arXiv (Cornell University)|2017. 06. 29.

Adversarial Robustness in Machine Learning참고 문헌 31인용 수 11

한 줄 요약

이 논문은 기존 GAN에서 점별 판별자(pointwise discriminators)를 전체 생성 데이터 및 실존 데이터 배치 기반의 어조어드버서(adversaries)로 대체하는 새로운 프레임워크인 분포적 적대망(Distributional Adversarial Networks, DAN)을 제안한다. 커널 두 샘플 검정과 같은 분포 불일치 측도를 활용하여, 깊이 신경망 커널을 적용함으로써 학습 안정성을 향상시키고 모드 붕괴를 극적으로 감소시킨다. 구조적 변경이 최소화된 상태에서 이미지 생성 및 도메인 적응 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose a framework for adversarial training that relies on a sample rather than a single sample point as the fundamental unit of discrimination. Inspired by discrepancy measures and two-sample tests between probability distributions, we propose two such distributional adversaries that operate and predict on samples, and show how they can be easily implemented on top of existing models. Various experimental results show that generators trained with our distributional adversaries are much more stable and are remarkably less prone to mode collapse than traditional models trained with pointwise prediction discriminators. The application of our framework to domain adaptation also results in considerable improvement over recent state-of-the-art.

연구 동기 및 목표

• 기존 점별 판별자를 사용하는 전통적 GAN에서 흔히 발생하는 안정성 문제와 모드 붕괴 문제를 해결하기 위해.
• 개별 샘플 포인트가 아닌 표본 기반으로 작동하는 새로운 적대적 훈련 프레임워크를 제안하기 위해.
• 실제 데이터와 생성된 데이터 간의 분포 차이를 모델링하여 모드 커버리지와 학습 안정성을 향상시키기 위해.
• 단순한 구조적 수정을 통해 기존 모델에 즉시 통합할 수 있도록 플러그-앤플레이(Plug-and-Play) 기능을 제공하기 위해.
• 이미지 생성 및 비지도 도메인 적응 작업 모두에서 뛰어난 성능을 입증하기 위해.

제안 방법

• 두 가지 유형의 분포적 어드버서를 제안한다: 에너지 기반 두 샘플 검정을 기반으로 한 DAN-S와 커널 두 샘플 검정을 기반으로 한 DAN-2S.
• 두 샘플 검정의 커널 함수를 깊이 신경망으로 매개변수화하여 분포 차이 식별을 위한 엔드 투 엔드 학습이 가능하도록 한다.
• 기존 판별기 아키텍처에 전체 배치를 표본으로 처리할 수 있도록 표현 평균화 레이어를 추가함으로써 수정한다.
• 개별 포인트가 아닌 실존 데이터 표본과 생성된 데이터 표본을 구분하도록 유도하는 표본 기반 목적함수를 적용한다.
• 표준 판별기를 분포 인식 가능한 변형으로 교체함으로써 생성 모델링과 도메인 적응 모두에 이 프레임워크를 적용한다.
• 최소한의 아키텍처 변경을 통해 기존 모델과의 호환성을 유지하여 기존 훈련 파ip라인에 쉽게 통합할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 점별 판별자를 표본 기반 어드버서로 대체하면 GAN의 학습 안정성이 향상되는가?
• RQ2 적대적 훈련에 분포 기반 접근법을 적용할 경우 생성 샘플의 모드 커버리지와 다양성은 어떻게 영향을 받는가?
• RQ3 분포 기반 어드버서는 비지도 도메인 적응에서 표준 GAN 판별자보다 성능이 뛰어나게 되는가?
• RQ4 표본 크기가 분포 기반 어드버서의 성능과 안정성에 미치는 영향은 어떠한가?
• RQ5 제안된 프레임워크는 기존 딥러닝 모델에 얼마나 쉽게 통합될 수 있는가?

주요 결과

• DAN-S와 DAN-2S는 모드 붕괴를 크게 감소시켜 표준 GAN보다 더 다양하고 현실적인 이미지 생성을 가능하게 한다.
• CIFAR-10 데이터셋에서 DAN-S는 FID 10.76을 기록하여 기준 GAN의 FID 14.42를 상회한다.
• 아마존 리뷰 데이터셋에서의 도메인 적응 작업에서 DAN-S는 DANN 대비 평균 정확도를 1.41% 향상시켰으며, 모든 소스-타겟 쌍에서 일관된 성능 향상을 보였다.
• MNIST에서 MNIST-M로의 도메인 적응 작업에서 DAN-2S는 DANN 대비 3%의 성능 향상을 기록하여 79.21%의 정확도를 달성했고, DANN의 76.13%보다 높았다.
• 이 프레임워크는 플러그인 방식으로 쉽게 구현 가능하다: 기존 판별기에 표현 평균화 레이어만 추가하면 되며, 재학습이나 하이퍼파ram터 튜닝이 필요하지 않다.
• 제안된 방법은 단순성과 기존 모델과의 호환성을 유지하면서도 도메인 적응 분야에서 최신 기술 수준의 성능을 달성한다.