[논문 리뷰] Linear unit-tests for invariance discovery

Benjamin Aubin, Agnieszka Słowik외 3명|arXiv (Cornell University)|2021. 02. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 16인용 수 13

한 줄 요약

이 논문은 기계학습에서 분포 외 일반화를 평가하기 위해 표준화된 여섯 개의 선형이며 저차원의 단위 테스트를 소개한다. 여러 환경에서 정 invariant 및 허위 상관관계를 시뮬레이션함으로써, 심지어 최신의 인과적 알고리즘인 IRMv1과 ANDMask조차도 일관된 예측자를 일관되게 학습하지 못함을 드러내며, 인과성 이론적 기반은 있음에도 불구하고 현재 방법에 심각한 격차가 있음을 시사한다.

ABSTRACT

There is an increasing interest in algorithms to learn invariant correlations across training environments. A big share of the current proposals find theoretical support in the causality literature but, how useful are they in practice? The purpose of this note is to propose six linear low-dimensional problems -- unit tests -- to evaluate different types of out-of-distribution generalization in a precise manner. Following initial experiments, none of the three recently proposed alternatives passes all tests. By providing the code to automatically replicate all the results in this manuscript (https://www.github.com/facebookresearch/InvarianceUnitTests), we hope that our unit tests become a standard steppingstone for researchers in out-of-distribution generalization.

연구 동기 및 목표

• 다양한 훈련 환경에서 인과적 기계학습 알고리즘의 실용적 효과성을 평가하여 일관된 예측자를 학습하는 데에 목적이 있다.
• 인과성 이론적 기반은 탄탄하지만, 기존의 분포 외 일반화 방법에 잠재된 한계를 규명하는 데 목적이 있다.
• 새로운 알고리즘을 테스트하고 비교하기 위해 합성 선형 문제를 사용한 표준화되고 재현 가능한 벤치마크를 제공하는 데 목적이 있다.
• 표본 오차 최소화 및 현재의 인과적 알고리즘들이 허위 상관관계가 존재할 경우 일반화에 실패하는 경향이 있음을 입증하는 데 목적이 있다.
• 모든 실험에 대한 오픈소스 코드를 공개하여 투명성과 재현 가능성을 증진하는 데 목적이 있다.

제안 방법

• 저자들은 환경별 간섭이 포함된 구조적 방정식을 사용하여 제어된 정 invariant (inv) 및 허위 (spu) 특징을 가진 여섯 개의 합성 선형 문제를 설계한다.
• 데이터셋은 기본적으로 n_env = 3개의 환경에서 생성되며, 정 invariant 특징은 타깃에 영향을 주고, 허위 특징은 타깃에 조건부로 의존한다.
• 테스트 분할은 예시들 간에 허위 특징을 무작위로 재배열하여 허위 상관관계를 깨뜨림으로써 분포 외 이동을 시뮬레이션한다.
• 알고리즘은 허위 상관관계가 있는 데이터에서 훈련한 후 테스트 오차를 평가하며, 성능은 오직 정 invariant 특징만 사용하는 오라클과 비교한다.
• 일관된 일반화에 미치는 영향을 분석하기 위해 환경 수(n_env)와 허위 차원 수(d_spu)를 변화시켜 실험한다.
• 모든 결과는 공개된 GitHub 리포지토리(https://www.github.com/facebookresearch/InvarianceUnitTests)를 통해 재현 가능하다.

실험 결과

연구 질문

• RQ1 현재의 인과적 학습 알고리즘이 명확한 허위 상관관계가 있는 저차원 선형 문제에서 일관된 예측자를 신뢰성 있게 발견할 수 있는가?
• RQ2 환경 수가 알고리즘의 분포 외 일반화 능력에 어떤 영향을 미치는가?
• RQ3 정 invariant 특징에 비해 허위 특징의 수가 증가할 경우 알고리즘의 성능는 어떻게 변화하는가?
• RQ4 IRMv1과 ANDMask와 같은 일부 알고리즘이 이론적 보장이 있음에도 불구하고 일부 문제에서는 성공하고 다른 문제에서는 실패하는 이유는 무엇인가?
• RQ5 표준화되고 최소한의 벤치마크가 최신의 분포 외 일반화 방법의 근본적 결함을暴露할 수 있는가?

주요 결과

• 어느 하나의 단위 테스트에서도 어떤 알고리즘도 오라클 수준의 성능에 도달하지 못하며, 이는 단순한 선형 환경에서도 정 invariant 상관관계를 학습하지 못하는 광범위한 실패를 시사한다.
• IRMv1과 ANDMask는 정 invariant 메커니즘이 선형적으로 분리 가능한 Example1과 Example1s에서는 잘 작동하지만, Example2와 Example3에서는 실패한다.
• Example2와 Example2s에서는 허위 특징이 타깃과 완전히 일치하므로, ERM이 IRMv1과 ANDMask를 초월하여 성능을 냈으며, 이는 인과성 기반 방법이 허위 상관관계에 의해 오도될 수 있음을 보여준다.
• IGA는 Example1과 Example1s에서는 ERM과 비슷한 성능을 보이며, 허위 특징이 추가되면 즉시 기능을 상실한다. 심지어 하나의 허위 특징만 있어도 그렇다.
• ANDMask는 Example3s(혼합된 허위 특징)에서 실패하지만, IRMv1은 성능을 유지하여 일부 경우에서 특징 재배열에 대해 더 견고함을 보였다.
• 허위 특징 수가 증가함에 따라 Example3과 Example3s에서 성능이 크게 떨어지며, 특히 n_env가 고정되어 있을 경우 특징 비율에 민감함을 보여, 이는 알고리즘의 특징 비율에 대한 민감도를 시사한다.