[논문 리뷰] Kernelized Heterogeneous Risk Minimization

Jiashuo Liu, Zheyuan Hu외 3명|arXiv (Cornell University)|2021. 10. 24.

Domain Adaptation and Few-Shot Learning참고 문헌 23인용 수 9

한 줄 요약

이 논문은 신경 장경계 기능(NTF) 공간에서 커널 기반 접근 방식을 사용하여 잠재적 이질성 탐색과 불변 학습을 동시에 최적화하는 새로운 방법인 커널화된 이질적 위험 최소화(KerHRM)를 제안한다. NTK 이론을 활용하고 불변 경사 하강법을 도입함으로써, 명시적인 환경 레이블이 없이도 강건한 분포 외 일반화를 가능하게 하며, 합성 및 실세계 벤치마크에서 최신 기준 성능을 달성한다.

ABSTRACT

The ability to generalize under distributional shifts is essential to reliable machine learning, while models optimized with empirical risk minimization usually fail on non-$i.i.d$ testing data. Recently, invariant learning methods for out-of-distribution (OOD) generalization propose to find causally invariant relationships with multi-environments. However, modern datasets are frequently multi-sourced without explicit source labels, rendering many invariant learning methods inapplicable. In this paper, we propose Kernelized Heterogeneous Risk Minimization (KerHRM) algorithm, which achieves both the latent heterogeneity exploration and invariant learning in kernel space, and then gives feedback to the original neural network by appointing invariant gradient direction. We theoretically justify our algorithm and empirically validate the effectiveness of our algorithm with extensive experiments.

연구 동기 및 목표

• 여러 개의 레이블이 없는 소스에서 수집된 훈련 데이터를 바탕으로 실세계 데이터에서 분포 외(OOD) 일반화의 과제를 해결하기 위해.
• 기존의 불변 학습 방법이 명시적인 환경 레이블이 필요하거나 사전 훈련된 편향된 모델을 기반으로 환경 추론을 해야 하는 한계를 극복하기 위해.
• 특히 이미지와 같은 복잡한 데이터에 대해 표현 공간에서 잠재적 이질성 탐색과 불변 표현 학습을 동시에 최적화할 수 있도록 하기 위해.
• 비율-왜곡 이론과 커널 수직성 이론을 사용하여 이질성 탐색과 불변 학습 간의 상호 촉진 관계를 이론적으로 정당화하기 위해.
• 불변 표현 학습 과정에서 이질성이 소멸되지 않도록 환경 특수성 특징을 유지하기 위해.

제안 방법

• 딥 네URAL 네트워크 훈련의 선형화를 가능하게 하기 위해 뉴럴 타נג엔트 커널(NTK) 이론을 활용해 입력 데이터를 뉴럴 타당 기능(NTF) 공간으로 매핑하기.
• NTF 공간에서 불변 학습을 수행하고 원래 신경망에 불변 경사 방향을 피드백하는 새로운 불변 경사 하강(IGD) 알고리즘을 제안하기.
• 환경 특수성 특징을 포착하고 잠재적 이질성 탐색을 가속화하기 위해 수직적 이질성 인식 커널을 설계하기.
• NTF 공간에서 두 모듈을 동시에 최적화하기: 이질성 탐색 모듈 $\mathcal{M}_c$ 와 불변 학습 모듈 $\mathcal{M}_p$.
• NTF 공간에서 커널 회귀를 사용하여 클러스터링 파라미터 $\Theta_j$ 의 해석적 해를 유도하고, 불변 방향과 수직성을 보장하기.
• 이론적으로 각 훈련 단계에서 변동 특징 공간의 범위가 불변 방향과 수직임을 증명하여, 불변 및 변동 성분 간의 상호 배타성이 유지됨을 보장하기.

실험 결과

연구 질문

• RQ1 명시적인 환경 레이블이 없이도 표현 공간에서 잠재적 이질성이 효과적으로 탐색되고 유지될 수 있는가?
• RQ2 불변 학습과 이질성 탐색을 동시에 최적화하여 OOD 일반화 성능를 향상시킬 수 있는가?
• RQ3 NTF 공간과 커널 방법을 사용함으로써 불변 및 변동 성분의 공동 최적화에 대한 이론적 보장을 확보할 수 있는가?
• RQ4 제안된 수직적 커널 설계가 환경 특수성 특징 탐색을 향상시키면서도 불변성을 유지하는 데 기여하는가?
• RQ5 실세계 및 합성 데이터에서 기존 방법과 비교해 KerHRM의 OOD 일반화 성능는 어떠한가?

주요 결과

• KerHRM은 합성 및 실세계 데이터셋 모두에서 기존의 불변 학습 및 분포로버스트 최적화 방법을 능가하는 최신 기준의 OOD 일반화 성능를 달성한다.
• 이론적 분석을 통해 각 훈련 단계에서 변동 특징 공간이 불변 방향과 수직임을 확인하여, 불변 및 이질적 성분 간의 분리성이 보장됨을 입증한다.
• 수직적 이질성 인식 커널은 환경 특수성 특징을 효과적으로 포착하여, 훈련 과정에서 잠재적 이질성이 소멸되는 것을 방지한다.
• 실험 결과에 따르면, 환경 레이블이 없더라도 KerHRM은 분포 이질성에 강건한 일반화 성능를 유지한다.
• 표준 딥 러닝 모델이 불변 표현 학습 과정에서 이러한 특징을 기각하는 것과는 달리, KerHRM은 훈련 중에 변동 특징을 성공적으로 유지한다. 이는 이질성 탐색에 매우 중요하다.
• NTF 공간에서 $\mathcal{M}_c$ 와 $\mathcal{M}_p$ 의 공동 최적화는 상호 촉진 효과를 낳으며, 이는 이질성 탐지 및 불변 학습 모두의 성능 향상으로 이어진다.