[논문 리뷰] Unsupervised Adversarial Invariance

Ayush Jaiswal, Rex Yue Wu외 2명|arXiv (Cornell University)|2018. 09. 26.

Adversarial Robustness in Machine Learning인용 수 22

한 줄 요약

이 논문은 예측 요인과 혼란 요인을 분리하기 위해 적대적 분리기(adversarial disentanglers)를 사용하여 예측자와 재구성자 간의 경쟁적 훈련을 통해 비지도로 분리된 표현을 학습하는 비지도 적대적 불변성 프레임워크를 제안한다. 이 방법은 레이블이 부여된 혼란 요인 또는 도메인 지식이 필요 없이 불변성 학습, 데이터 증강, 도메인 적응에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Data representations that contain all the information about target variables but are invariant to nuisance factors benefit supervised learning algorithms by preventing them from learning associations between these factors and the targets, thus reducing overfitting. We present a novel unsupervised invariance induction framework for neural networks that learns a split representation of data through competitive training between the prediction task and a reconstruction task coupled with disentanglement, without needing any labeled information about nuisance factors or domain knowledge. We describe an adversarial instantiation of this framework and provide analysis of its working. Our unsupervised model outperforms state-of-the-art methods, which are supervised, at inducing invariance to inherent nuisance factors, effectively using synthetic data augmentation to learn invariance, and domain adaptation. Our method can be applied to any prediction task, eg., binary/multi-class classification or regression, without loss of generality.

연구 동기 및 목표

• 레이블이 부여된 혼란 요인 또는 도메인 특화 지식에 의존하지 않고 감독 학습에서 불변 표현을 학습하는 문제에 대응하기 위해.
• 예측 및 재구성 작업 간의 경쟁적 훈련을 통해 불변성을 유도하는 프레임워크를 개발하기 위해.
• 기존 혼란 요인의 변형에 과적합되지 않도록 합성 데이터 증강을 사용하여 효과적인 불변성 학습을 가능하게 하기 위해.
• 분류, 회귀, 도메인 적응과 같은 다양한 작업에 대해 아키텍처 수정 없이 일반화할 수 있도록 하기 위해.
• 일반적으로 확보하기 어려우거나 실용적이지 않은 레이블이 부여된 혼란 요인의 필요성을 제거하기 위해.

제안 방법

• 모델은 예측을 위한 e₁과 재구성을 위한 e₂로 구성된 분할 표현을 학습하며, e₁은 재구성에 사용되는 노이즈가 가미된 버전이다.
• 예측자(e₁를 사용)와 복원기(e₁̃와 e₂를 사용) 간의 경쟁적 훈련 목적이 설정되어 정보 분리를 촉진한다.
• 두 개의 적대적 분리기(adversarial disentanglers)를 통해 분리가 강제된다: 하나는 e₁에서 e₂를 예측하고, 다른 하나는 e₂에서 e₁을 예측하며, 이들은 적대적으로 훈련된다.
• 주 네트워크와 분리기 간의 적대적 최적화를 통해 전체 모델이 엔드 투 엔드로 훈련된다.
• 이 프레임워크는 데이터 모odal에 관계없이 적용 가능하며, 분류 및 회귀와 같은 모든 감독 학습 과제에 적용 가능하다.
• 혼란 요인에 대한 추가 지도 학습이 필요 없어, 제로샷 또는 약한 지도 학습 설정에서도 적용 가능하다.

실험 결과

연구 질문

• RQ1 레이블이 부여된 요인 표기 없이도 내재된 혼란 요인에 대한 불변성이 비지도 방식으로 효과적으로 유도될 수 있는가?
• RQ2 예측과 재구성 간의 경쟁적 훈련이 알려지지 않은 혼란 요인 변형에 대한 강건성을 어떻게 향상시키는가?
• RQ3 적대적 분리가 잠재 공간에서 예측 요인과 비예측 요인을 효과적으로 분리할 수 있는가?
• RQ4 훈련 중 혼란 요인이 완전히 관찰되지 않을 경우, 제안된 방법이 감독 학습 기반 불변성 방법보다 우수한 성능을 보일 수 있는가?
• RQ5 도메인 특화 지도 학습 없이도 도메인 적응 과제에 얼마나 잘 일반화되는가?

주요 결과

• 제안된 모델은 CelebA 데이터셋에서 내재된 혼란 요인에 대한 불변성 학습에서 CAI 및 기준 모델을 포함한 최신 기술 수준의 감독 학습 방법들을 능가한다.
• CelebA 데이터셋에서, 특히 알려지지 않은 혼란 요인 변형에 대해 CAI 및 기준 모델보다 유의미하게 높은 정확도를 달성하여 강건성을 입증했다.
• Amazon Reviews 데이터셋에서 12개 도메인 적응 과제 중 9개에서 VFAE 및 DANN보다 우수한 성능을 보였으며, 다양한 도메인 간의 강력한 일반화 능력을 입증했다.
• 도메인 적응 과제에서 전자제품 도메인에서 주방 도메인으로의 전이 시 89.0%의 정확도를 기록하여 DANN(85.4%) 및 VFAE(85.0%)를 초월했다.
• 제거 분석(ablation studies)을 통해, 레이블이 없는 혼란 요인 조건에서도 모델의 성능이 강건함을 확인하였으며, 이는 감독 학습 방법이 이러한 조건에서 성능이 저하됨을 고려할 때 뚜렷한 이점이다.
• 적대적 분리기들이 예측 요인과 비예측 요인을 효과적으로 분리하여, 모델이 알려지지 않은 혼란 요인 변형으로도 일반화할 수 있음을 입증했다.