[논문 리뷰] Evading the Adversary in Invariant Representation

Daniel Moyer, Shuyang Gao외 3명|arXiv (Cornell University)|2018. 05. 24.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 잡음 요인에 대해 불변인 표현을 학습하기 위해 단일 목적 함수를 최적화하는 비대칭적이고 정보이론적인 접근법을 제안한다. 이 목적 함수는 과업 성능와 잡음 요인에 대한 불변성 사이의 균형을 잡는다. 이는 반복적인 미니맥스 훈련 없이도 공정한 표현 학습과 제어 가능한 생성 모델링에서 최신 기술을 능가하거나 동등하게 성능을 내며, 대비되는 훈련 방식에 비해 안정성이 뛰어나다.

ABSTRACT

Representations of data that are invariant to changes in specified factors are useful for a wide range of problems: removing potential biases in prediction problems, controlling the effects of covariates, and disentangling meaningful factors of variation. Unfortunately, learning representations that exhibit invariance to arbitrary nuisance factors yet remain useful for other tasks is challenging. Existing approaches cast the trade-off between task performance and invariance in an adversarial way, using an iterative minimax optimization. We show that adversarial training is unnecessary and sometimes counter-productive; we instead cast invariant representation learning as a single information-theoretic objective that can be directly optimized. We demonstrate that this approach matches or exceeds performance of state-of-the-art adversarial approaches for learning fair representations and for generative modeling with controllable transformations.

연구 동기 및 목표

• 하류 과업에 대한 유용성을 유지하면서 잡음 요인에 대해 불변인 표현을 학습하는 데 도전하는 것.
• 불변 표현 학습에서 대비되는 훈련의 한계를 극복하는 것, 특히 안정성 부족과 역기능적 작용의 문제를 해결하는 것.
• 불변성과 과업 성능 사이를 직접 균형 잡는 통합된 비대칭 최적화 프레임워크를 개발하는 것.
• 단일 정보이론적 목적 함수가 불변 표현 학습에서 반복적인 미니맥스 절차를 대체할 수 있음을 보여주는 것.

제안 방법

• 예측 정확도와 잡음 요인에 대한 불변성 사이의 트레이드오프를 고려한 단일 정보이론적 목적 함수로 불변 표현 학습을 공식화하는 것.
• 표현과 잡음 요인 간 상호정보량 최소화를 통해 불변성을 강제하는 것.
• 대비되는 훈련 루프를 피하기 위해 표준 백프로파게이션을 사용해 목적 함수를 종합적으로 최적화하는 것.
• 광범위한 적용성을 위해 분류적 및 생성적 모델링 프레임워크에 목적 함수를 통합하는 것.
• 정보이론적 항목을 미분 가능하게 근사하기 위해 변분 추론을 활용하는 것.
• 제어 가능한 요소를 갖춘 공정한 표현 학습과 분리 가능한 생성 모델링에 방법을 적용하는 것.

실험 결과

연구 질문

• RQ1 비대칭적이고 단일 목적 함수 기반 접근법이 대비되는 방법의 성능을 따라잡거나 능가할 수 있는가?
• RQ2 불변 표현 학습에서 대비되는 훈련이 필수적인가, 아니면 오히려 역기능적일 수 있는가?
• RQ3 통합된 정보이론적 목적 함수가 다양한 과업에서 불변성과 예측 유용성 사이를 효과적으로 균형 잡을 수 있는가?
• RQ4 제안된 방법은 최신 기술 대비 공정한 표현 학습과 제어 가능한 생성에서 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 공정한 표현 학습에서 최신 기술 대비 또는 그 이상의 성능을 달성한다.
• 반복적인 미니맥스 최적화가 필요 없어지면서 훈련이 단순화되고 안정성이 향상된다.
• 제어 가능한 분리 가능한 요소를 갖춘 생성 모델링에서 뛰어난 성능을 보이며, 최신 기술 결과를 따라하거나 능가한다.
• 정보이론적 목적 함수는 대비되는 간섭 없이도 잡음 요인에 대한 불변성과 과업 성능 사이를 효과적으로 균형 잡는다.