[논문 리뷰] Invariant Representations without Adversarial Training

Daniel Moyer, Shuyang Gao외 3명|arXiv (Cornell University)|2018. 05. 24.

Adversarial Robustness in Machine Learning참고 문헌 24인용 수 97

한 줄 요약

이 논문은 VAE와 VIB 프레임워크 내에서 I(z,c)에 대한 정보 이론적 상한을 직접 최소화하여 c-불변 표현을 학습하는 것을 제안하며, 적대적 학습(adversarial training)을 피하면서도 공정한 표현 및 제어 가능한 생성 변환에서 최첨단 방법과 같거나 더 우수하게 성능을 달성한다.

ABSTRACT

Representations of data that are invariant to changes in specified factors are useful for a wide range of problems: removing potential biases in prediction problems, controlling the effects of covariates, and disentangling meaningful factors of variation. Unfortunately, learning representations that exhibit invariance to arbitrary nuisance factors yet remain useful for other tasks is challenging. Existing approaches cast the trade-off between task performance and invariance in an adversarial way, using an iterative minimax optimization. We show that adversarial training is unnecessary and sometimes counter-productive; we instead cast invariant representation learning as a single information-theoretic objective that can be directly optimized. We demonstrate that this approach matches or exceeds performance of state-of-the-art adversarial approaches for learning fair representations and for generative modeling with controllable transformations.

연구 동기 및 목표

• 작업 관련 정보를 보존하면서 nuisance 공변량 c에 대한 의존성을 제거하려는 동기 부여.
• 적대적 학습을 다루기 쉬운 정보 이론적 목표로 대체한다.
• VAE 및 Variational Information Bottleneck (VIB) 프레임워크를 적용하여 불변성을 강제한다.
• 공정한 분류 및 제어 가능한 이미지 생성에서 실질적 이점을 입증한다.

제안 방법

• 불변 코딩을 L + λ I(z,c) 최소화로 형식화하며, L은 작업 관련 손실이다.
• I(z,c) 에 대한 변분 상한 도출로 KL(q(z|x) || p(z)) 및 재구성 항 p(x|z,c)를 포함하는 실용적 손실로 이어진다.
• 쌍별 KL(q(z|x) || q(z))를 사용해 불가역한 주변 q(z) 계산을 피하기 위해 KL[q(z|x) || q(z|x')]를 근사한다.
• 감독 설정을 위한 세 가지 분기 모델 제공: 인코더 q(z|x), 디코더 p(x|z,c), 및 예측기 p(y|z).
• 대안적 상한 I(z,c) ≤ H(c) − H(c|z)에서 적대적 해석을 얻는 방법을 보이고, 이를 z로부터 c를 추론하는 것과 연결한다.

실험 결과

연구 질문

• RQ1 I(z,c)에 대한 상한을 최소화하는 것이 적대적 학습 없이도 불변 잠재 코드들을 생성하는가?
• RQ2 공정한 분류 벤치마크에서 c-불변 VAE/VIB는 적대적 기준선과 비교하여 어떠한 성능을 보이는가?
• RQ3 제안된 목적을 통해 (Fader와 같은) 제어 가능한 변환이 테스트 시간에 c에 접근 없이 가능해지는가?
• RQ4 대안적 변분 상한으로 대체하는 것이 실제로 학습 안정성에 어떤 영향을 미치는가?

주요 결과

데이터셋	Adv. Loss	Pred Acc.	주요 클래스
German	0.725	0.695
VFAE [15]	0.717	0.720
Xie et al. [22]	0.811	0.695
Proposed	0.698	0.710
Adult	0. -	0. -	0.675/0.752
VFAE [15]	0.882	0.842
Xie et al. [22]	0.888	0.831
Proposed	0.776	0.842

• 제안된 c-agnostic 목적은 공정한 분류 태스크에서 적대적 방법과 동등하거나 그 이상으로 성능을 달성한다.
• 다양한 적대자 강도에서도 경쟁력 있는 적대적 오차를 제공하며 테스트 시점에 c가 필요하지 않다.
• MNIST 실험에서 z와 목표 c를 조건화해 Fader-네트워크와 유사한 조작이 가능하다.
• 제안 방법은 기법이 baselines보다 c에 의해 군집화되는 경향이 적은Invariant 표현을 시각화하는 t-SNE에 의해 확인된다.
• 변분 상한 접근법은 적대적 학습에서 자주 관찰되는 학습 불안정성을 피한다.