[논문 리뷰] Environment Diversification with Multi-head Neural Network for Invariant Learning

Bo‐Wei Huang, Keng-Te Liao외 2명|arXiv (Cornell University)|2023. 08. 17.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 레이블이 부여된 환경 데이터나 사전 훈련된 모델에 대한 강력한 가정 없이 환경을 자동으로 추론하고 다양화할 수 있는 새로운 불변 학습 프레임워크 EDNIL을 제안한다. 환경 추론과 불변 표현 학습을 동시에 최적화함으로써, 분포 이탈에 대해 최신 기술 수준의 강건성을 달성하며, 특히 편향 강건성 벤치마크에서 가장 열악한(일치하지 않는) 예제에서 성능을 향상시킨다.

ABSTRACT

Neural networks are often trained with empirical risk minimization; however, it has been shown that a shift between training and testing distributions can cause unpredictable performance degradation. On this issue, a research direction, invariant learning, has been proposed to extract invariant features insensitive to the distributional changes. This work proposes EDNIL, an invariant learning framework containing a multi-head neural network to absorb data biases. We show that this framework does not require prior knowledge about environments or strong assumptions about the pre-trained model. We also reveal that the proposed algorithm has theoretical connections to recent studies discussing properties of variant and invariant features. Finally, we demonstrate that models trained with EDNIL are empirically more robust against distributional shifts.

연구 동기 및 목표

• 기계 학습에서 훈련 및 테스트 데이터의 분포가 허위 상관관계와 편향으로 인해 이격되는 경우의 분포 외 일반화 문제를 해결하기 위해.
• 실제 응용에서 자주 확보하기 어려우거나 비용이 많이 들기 때문에 수동으로 레이블이 부여된 환경 데이터에 의존하는 것을 제거하기 위해.
• 환경 추론과 불변 특징 학습을 동시에 최적화하는 프레임워크를 개발하여 분포 이탈 상황에서 모델의 강건성을 향상시키기 위해.
• 다양한 사전 훈련된 모델과 호환되며, 초기화에 민감하지 않고 이론적으로 탄탄한 효율적인 불변 학습 방법을 제공하기 위해.
• 의료, 자율 주행, 소셜 미디어와 같은 실세계 기계 학습 응용에서 민감한 속성에 접근할 수 없음에도 불구하고 불변 예측자 학습을 통해 공정성과 신뢰성을 향상시키기 위해.

제안 방법

• EDNIL은 각 헤드가 별개의 추론된 환경에 대한 분류기로 작용하는 다중 헤드 신경망 아키텍처를 사용하여, 감독 없이도 자동으로 환경을 탐지할 수 있도록 한다.
• 프레임워크는 환경 추론 헤드와 주 예측 헤드를 다중 작업 학습 목표를 통해 함께 최적화함으로써, 추론된 환경 간의 다양성을 촉진한다.
• 이 방법은 다중 분류기와 유사한 기능을 가지며, ResNet 및 DistilBERT와 같은 표준 사전 훈련된 모델과의 호환성과 효율적인 훈련을 가능하게 한다.
• 환경에 특화된(허위의) 특징에 대한 모델 의존도를 줄이기 위해 손실 함수를 새로이 도입하여 불변 표현을 장려한다.
• 아키텍처는 추론된 환경 간의 다양성을 암묵적으로 강제함으로써, 불변 학습에서 다양한 환경의 이점에 대한 이론적 결과와 일치시킨다.
• 데이터나 모델 초기화에 대한 강력한 가정을 피함으로써, 초기화 선택에 대해 강건하며 대규모 데이터셋에 스케일업 가능한 성능을 발휘한다.

(a)

실험 결과

연구 질문

• RQ1 레이블이 부여된 환경 데이터가 없이도 다중 헤드 신경망 아키텍처가 비지도 학습 방식으로 환경을 효과적으로 추론하고 다양화할 수 있는가?
• RQ2 환경 추론과 불변 학습을 동시에 최적화하는 것이 기존 방법에 비해 분포 이탈에 대한 강건성을 어떻게 향상시키는가?
• RQ3 EDNIL은 편향 강건성 벤치마크에서 가장 열악한(일치하지 않는) 예제에 대해 최신 기술 수준의 불변 학습 방법을 얼마나 뛰어나게 성능을 내는가?
• RQ4 EDNIL의 학습 목표는 최근 불변 학습에서 이상적인 환경에 대한 연구와 어떤 이론적 연결고리가 있는가?
• RQ5 EDNIL은 다양한 데이터 유형과 편향 강도를 가진 다양한 사전 훈련된 모델과 효과적으로 통합될 수 있는가?

주요 결과

• SNLI 데이터셋에서 EDNIL은 가장 열악한(일치하지 않는) 정확도 54.5%를 기록하여, ERM(52.6%), EIIL(51.7%), IRM(56.9%)를 모두 초월하며 편향 이격에 대한 뛰어난 강건성을 입증했다.
• EDNIL은 여러 데이터셋과 사전 훈련된 모델에서 일관되게 일치하지 않는 서브셋에서의 성능을 향상시켜, 불변 특징의 효과적인 학습을 보여주었다.
• Adult-Confounded 데이터셋에서 최신 기술 수준의 성능을 달성하여, 민감한 속성에 접근할 수 없음에도 공정한 의사결정을 위한 잠재력을 보였다.
• EDNIL은 다양한 데이터 유형과 편향 강도에서 뛰어난 일반화 성능를 유지하였으며, 정교한 초기화나 환경 레이블링 없이도 일관된 향상을 기록했다.
• 최근 이상적인 환경에 대한 연구와의 이론적 연결 고리는 EDNIL의 다중 헤드 설계가 자연스럽게 환경의 다양성을 증진시켜 불변 학습에 필수적인 요소를 제공함을 시사한다.
• EDNIL의 분류기 유사한 아키텍처는 효율적인 훈련과 기존 사전 훈련된 모델과의 원활한 통합을 가능하게 하여 실용적 적용성을 높였다.

(b)