[논문 리뷰] Learn to Expect the Unexpected: Probably Approximately Correct Domain Generalization

Vikas Garg, Adam Tauman Kalai외 2명|arXiv (Cornell University)|2020. 02. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 39인용 수 6

한 줄 요약

이 논문은 메타분포에서 유래한 서로 다른 도메인의 다수의 데이터셋에서 학습된 학습 알고리즘을 통해 미리 알 수 없는 도메인으로의 일반화를 가능하게 하는 새로운 Probably Approximately Correct (PAC) 도메인 일반화 프레임워크를 제안한다. 이 방법은 세 가지 설정—Massart 노이즈, 의사결정나무, 특징 선택—에서 강건한 특징 선택과 효율적인 알고리즘을 사용하여 허위 상관관계를 걸러내어 교차 도메인 일반화를 향상시키며, 훈련 세트 외부의 100개 대학의 웹페이지를 활용한 실험적 검증을 수행한다.

ABSTRACT

Domain generalization is the problem of machine learning when the training data and the test data come from different data domains. We present a simple theoretical model of learning to generalize across domains in which there is a meta-distribution over data distributions, and those data distributions may even have different supports. In our model, the training data given to a learning algorithm consists of multiple datasets each from a single domain drawn in turn from the meta-distribution. We study this model in three different problem settings---a multi-domain Massart noise setting, a decision tree multi-dataset setting, and a feature selection setting, and find that computationally efficient, polynomial-sample domain generalization is possible in each. Experiments demonstrate that our feature selection algorithm indeed ignores spurious correlations and improves generalization.

연구 동기 및 목표

• 미리 알 수 없는 도메인으로의 일반화 이론적 분석이 가능하도록 도메인 일반화를 데이터 도메인에 대한 메타분포로 공식화하는 것.
• 훈련 데이터와 테스트 데이터가 서로 다른 도메인에서 유래하고, 지원 집합이 서로 겹치지 않을 수 있는 상황에서 강건한 모델 학습에 도전하는 것.
• 도메인 특화 특징에 의존하지 않고 도메인 간 일반화가 가능한 계산적으로 효율적인 알고리즘을 개발하는 것.
• 도메인 간 변동성이 높은 특징을 걸러내면 새로운 대학에서의 성능 향상이 이루어지는지 경험적으로 검증하는 것.

제안 방법

• 훈련 데이터가 다수의 도메인 특화 데이터셋으로 구성된 도메인 분포에 대한 메타분포를 통해 도메인 일반화를 모델링하는 방식.
• 다중 도메인 Massart 노이즈 학습을 표준 PAC 학습으로의 환원하여 랜덤 분류 노이즈 하에서의 학습 문제로 변환하는 방법을 제안.
• 모든 예제가 타겟 트리의 한 리프 노드에 속한다고 가정할 때, $O(n + s)$-시간 알고리즘을 설계하여 의사결정나무의 PAC 학습을 수행.
• 다양한 도메인 간 상관관계의 강건성을 기반으로 특징을 선택하는 특징 선택 알고리즘(FSUS)을 도입하며, 상관관계 계수의 표준편차가 높은 특징에 대해 페널티를 적용.
• 정규화된 점수 $s_k = |\rho_k| - \alpha \cdot \text{stdev}(\rho_k^1, \dots, \rho_k^d)$ 를 사용하여 도메인 간 예측 가능한 특징을 식별.
• 균형 오차율을 평가 지표로 사용하여, 4개 대학의 웹페이지 데이터셋에서 훈련하고 100개의 새로운 대학에서 테스트하는 방식으로 방법을 경험적으로 평가.

실험 결과

연구 질문

• RQ1 도메인 간 지원 집합과 노이즈 비율이 다를 수 있는 다중 도메인 환경에서 계산적으로 효율적인 도메인 일반화를 달성할 수 있는가?
• RQ2 다양한 도메인 간 변동성이 큰 허위 상관관계를 식별하고 제거할 수 있는 특징 선택 방법은 어떻게 설계할 수 있는가?
• RQ3 데이터의 도메인 특화 구조를 활용하면 도메인 이동 상황에서 의사결정나무 학습의 복잡도를 어떻게 줄일 수 있는가?
• RQ4 특징 상관관계의 도메인 간 강건성이 새로운 도메인으로의 일반화 성능 향상과 관련이 있는가?
• RQ5 도메인의 메타분포 모델링은 표준 PAC 학습보다 더 강력한 샘플 내 및 샘플 외 일반화 보장을 제공할 수 있는가?

주요 결과

• 제안된 특징 선택 알고리즘(FSUS)은 모든 분류기와 특징 수에서 표준 기준 대비 균형 오차율에서 뛰어난 성능을 보였으며, 특히 다수의 도메인에서 훈련할 경우 두드러진 성능 향상을 보였다.
• 알고리즘은 도메인 간 상관관계의 변동성이 높은 특징—예를 들어 다운로드 시간과 관련된 '19'라는 단어—를 자동으로 식별하고 제거함으로써 허위 상관관계를 효과적으로 걸러냈다.
• 웹페이지 데이터셋에서, 훈련 세트에 해당 기관의 데이터가 전혀 포함되어 있지 않은 100개의 새로운 대학에 대해서도 기준 모델보다 더 강력한 일반화 성능을 달성했다.
• 의사결정나무 알고리즘은 $O(n + s)$ 실행 시간을 확보하여 동일한 구조적 가정 하에서 기존의 $n^{O(\log s)}$ 보다 뚜렷이 향상된 성능을 보였다.
• K=1에서 4까지의 검증 오차 추정치는 다양한 수의 훈련 도메인에서 일관된 성능 향상을 보이며 도메인 분할에 대한 강건성을 입증했다.
• 정규화 파rameter $\alpha$ 의 튜닝이 성능에 미치는 영향이 미미하여, 방법이 하이퍼파rameter 선택에 민감하지 않으며 안정적임을 시사했다.