[논문 리뷰] Discovery and Separation of Features for Invariant Representation Learning

Ayush Jaiswal, Rob Brekelmans외 4명|arXiv (Cornell University)|2019. 12. 02.

Domain Adaptation and Few-Shot Learning참고 문헌 32인용 수 6

한 줄 요약

이 논문은 정보이론적 접근을 통해 데이터 내 예측 가능 요인과 혼란을 유발하는 요인을 발견하고 분리하는 새로운 딥러닝 프레임워크를 제안한다. 이는 혼란 요인에 대한 애너테이션을 필요로 하지 않고도 불변 표현 학습을 가능하게 한다. 이 방법은 예측 가능한 내용과 혼란 요인에 대해 각각 독립적인 임bedding을 학습하며, 회전, 자세, 조명과 같은 혼란 요인에 대해 완벽한 불변성을 확보하면서 여러 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Supervised machine learning models often associate irrelevant nuisance factors with the prediction target, which hurts generalization. We propose a framework for training robust neural networks that induces invariance to nuisances through learning to discover and separate predictive and nuisance factors of data. We present an information theoretic formulation of our approach, from which we derive training objectives and its connections with previous methods. Empirical results on a wide array of datasets show that the proposed framework achieves state-of-the-art performance, without requiring nuisance annotations during training.

연구 동기 및 목표

• 비정상적인 상관관계를 학습하는 감독 모델이 새로운 데이터 구성에서 일반화 성능을 떨어뜨리는 문제를 해결하기 위해.
• 학습 중에 혼란 요인에 대한 애너테이션을 필요로 하지 않고도 혼란 요인에 대한 불변성을 유도하는 방법을 개발하기 위해.
• 예측 가능 요인과 혼란 요인을 독립적인 임베딩으로 분리하여 데이터의 완전하고 분리된 표현을 학습하기 위해.
• 기존 방법과 연결되는 이론적으로 탄탄한 정보이론적 수식을 통해 불변 표현 학습을 정의하기 위해.
• 다양한 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 방법에 비해 본 프레임워크의 우수성을 경험적으로 검증하기 위해.

제안 방법

• 프레임워크는 두 개의 별도 잠재 임베딩(예: $ z_p $: 예측 가능 요인, $ z_n $: 혼란 요인)을 가지는 변동형 오토에인코더 유사 아키텍처를 사용한다.
• 예측 손실($ y $), 재구성 손실($ x $), 그리고 $ z_p $와 $ z_n $ 간의 독립성을 강제하는 정보 제약 조건을 조합한 공동 학습 목표를 도입한다.
• 정보이론적 수식에서 유도된 두 가지 동치의 학습 목표를 통해 $ z_p $ 가 혼란 요인에 대해 불변이면서도 예측 가능 내용을 유지하도록 보장한다.
• 정보 제약 조건은 $ z_p $ 와 혼란 요인 간의 상호정보량 최소화를 통해 구현되며, 이는 분리된 표현을 촉진한다.
• 정보이론적 목표의 미분 가능한 근사치를 사용해 엔드 투 엔드로 모델을 학습하며, 이는 기울기 기반 최적화를 가능하게 한다.
• 데이터셋에 따라 완전 연결 또는 합성곱 레이어로 아키텍처를 구현하며, 예측과 재구성에 각각 별도의 헤드를 사용한다.

실험 결과

연구 질문

• RQ1 딥 네트워크가 혼란 요인에 대한 애너테이션을 요구하지 않고 데이터 내 예측 가능 요인과 혼란 요인을 분리할 수 있는가?
• RQ2 어떻게 정보이론적 프레임워크를 설계하여 표현의 불변성을 유도하면서도 예측 가능 정보를 유지할 수 있는가?
• RQ3 제안된 방법과 UAI와 같은 이전 접근법 간의 관계는 무엇이며, 어떻게 이를 개선하는가?
• RQ4 이 프레임워크는 예상치 못한 혼란 구성(예: 분포 외 회전 각도 또는 조명 변화)에 얼마나 잘 일반화되는가?
• RQ5 학습된 $ z_p $ 임베딩이 혼란 요인에 대해 불변성을 유지하면서도, 후행 작업에서 높은 예측 정확도를 달성할 수 있는가?

주요 결과

• MNIST-ROT 데이터셋에서 제안된 프레임워크의 모든 버전이 최신 기술 수준(SOTA)의 $ y $-정확도를 달성했으며(예: DSF-H가 이전 SOTA를 초월), 랜덤 추측 수준의 $ s $-정확도(0.20)를 기록하여 회전에 대해 완벽한 불변성을 입증했다.
• MNIST-DIL에서 프레임워크는 명시적인 스토리크 폭 제어 없이도 $ z_p $ 에 더 많은 예측 가능 정보를 유지했으며, 이는 이전 방법보다 뛰어난 성능을 보였다.
• Multi-PIE에서 모델은 자세와 조명에 대해 높은 $ y $-정확도와 $ s $-정확도를 달성했으며, t-SNE 시각화 결과 혼란 요인들이 $ z_n $ 으로 분리되어 있음을 확인했다.
• Chairs 데이터셋에서 프레임워크는 이전 방법보다 $ y $-정확도 향상을 보였고, 방향성에 대해 랜덤 추측 수준의 $ s $-정확도(0.25)를 달성하여 $ s $-라벨 감시 없이도 불변성을 확인했다.
• 모든 데이터셋에서 $ z_p $ 와 $ z_n $ 의 t-SNE 시각화 결과는 예측 가능 내용이 $ z_p $ 에 유지된 반면, 야위, 조명, 자세와 같은 혼란 요인들이 $ z_n $ 에 고립되어 있음을 확인했다.
• 이론적 분석 결과, 제안된 프레임워크는 정보 제약 조건을 통해 분리를 명시적으로 강제하므로 UAI 모델보다 우월하다는 것이 입증되었다.