[논문 리뷰] Robust Generalization despite Distribution Shift via Minimum Discriminating Information

Tobias Sutter, Andreas Krause외 1명|arXiv (Cornell University)|2021. 06. 08.

Machine Learning and Algorithms인용 수 4

한 줄 요약

이 논문은 테스트 분포의 일부 구조적 지식이 제공될 때 분포 이탈을 모델링하기 위해 최소 식별 정보 원리를 사용하는 분포적으로 강건한 최적화 프레임워크를 제안한다. 최소 식별 정보 원리, 분포적으로 강건한 최적화, 그리고 대칭 이탈 경계를 결합함으로써, 이 방법은 분포 이탈 하에서 증명 가능하게 강건한 일반화를 달성하며, 편향된 분류 및 오프-폴리시 평가 작업에서 기존 방법들을 능가한다.

ABSTRACT

Training models that perform well under distribution shifts is a central challenge in machine learning. In this paper, we introduce a modeling framework where, in addition to training data, we have partial structural knowledge of the shifted test distribution. We employ the principle of minimum discriminating information to embed the available prior knowledge, and use distributionally robust optimization to account for uncertainty due to the limited samples. By leveraging large deviation results, we obtain explicit generalization bounds with respect to the unknown shifted distribution. Lastly, we demonstrate the versatility of our framework by demonstrating it on two rather distinct applications: (1) training classifiers on systematically biased data and (2) off-policy evaluation in Markov Decision Processes.

연구 동기 및 목표

• 실세계 기계 학습 응용에서 분포 이탈으로 인한 모델 성능 저하 문제를 해결하기 위해.
• 부분적인 구조적 지식과 최소 식별 정보 원리를 활용하여 미지의 테스트 분포를 체계적으로 모델링할 수 있는 방법을 개발하기 위해.
• 대칭 이탈 하에서 일반화 경계를 명시적으로 제공하기 위해 대칭 이탈 이론을 사용하기 위해.
• 편향된 데이터 분류 및 마르코프 결정 과정에서의 오프-폴리시 평가라는 두 가지 다른 응용 분야에서 프레임워크의 효과성을 입증하기 위해.
• 이론적 보장을 통해 유도된 분포적으로 강건한 최적화 모델의 통계적 최적성을 확보하기 위해.

제안 방법

• 프레임워크는 훈련 분포로부터의 칼리브라-라이블러 발산을 최소화하면서도, 이격에 대한 사전 구조적 지식을 반영하는 제약 조건을 포함하여 미지의 이격된 테스트 분포를 모델링한다.
• 최소 식별 정보 원리에 의해 정의된 불확실성 집합 내에서 가장 나쁜 경우의 기대 손실을 최소화하기 위해 분포적으로 강건한 최적화(DRO)를 적용한다.
• 성능 보장을 보장하기 위해 대칭 이탈 결과를 사용하여 일반화 경계를 유도한다.
• 결과적으로 유도된 최적화 문제들은 볼록 쌍대성과 가속된 제1차 방법을 통해 효율적으로 해결된다.
• 이 방법은 두 가지 다른 설정에 적용된다: (1) 알려진 민족적 이격이 있는 체계적으로 편향된 데이터로 분류기 훈련, (2) 알려진 행동 정책 제약 조건이 있는 마르코프 결정 과정에서의 오프-폴리시 평가.
• 이 프레임워크는 최소 식별 정보 기반 DRO(MDI-DRO)로 구현되었으며, 통계적으로 최적이고 계산적으로 효율적임을 입증받았다.

실험 결과

연구 질문

• RQ1 이격에 대한 부분적인 구조적 정보만 제공될 때, 어떻게 미지의 이격된 테스트 분포를 모델링할 수 있는가?
• RQ2 최소 식별 정보 원리를 사용하여 분포 이탈 하에서 기계 학습 모델의 명시적 일반화 경계를 유도할 수 있는가?
• RQ3 기존 방법과 비교해 볼 때, 제안된 MDI-DRO 프레임워크는 편향된 데이터 및 오프-폴리시 평가 작업에서 강건성과 일반화 성능 측면에서 어떻게 성능을 내는가?
• RQ4 분포 이탈과 제한된 훈련 샘플이 존재할 때, 유도된 DRO 모델의 통계적 최적성은 어떠한가?
• RQ5 MDI-DRO 프레임워크는 실무적으로 효율적으로 해결될 수 있으며, 그에 따른 계산적 보장은 무엇인가?

주요 결과

• MDI-DRO 프레임워크는 최소 식별 정보 원리와 분포적으로 강건한 최적화를 조합함으로써 증명 가능하게 강건한 일반화를 달성하며, 미지의 분포 이탈 하에서도 성능 보장을 보장한다.
• 이 방법은 대칭 이론 결과에서 도출된 명시적 일반화 경계를 제공하며, 사전 구조적 제약 조건을 만족하는 모든 미지의 이격된 분포에 대해 유효하다.
• m=6인 합성된 편향된 분류 작업에서, MDI-DRO는 1000번의 독립 실험 전반에서 기존 방법보다 테스트 정확도와 강건성 측면에서 뛰어난 성능을 보였다.
• 재고 제어 모델에서의 오프-폴리시 평가에서는, MDI-DRO가 기준 방법보다 뛰어난 성능을 보였으며, 특히 분포 이탈 하에서 장기 평균 비용을 추정하는 데서 두각을 나타냈다.
• 프레임워크 내 최적화 문제들은 볼록 쌍대성과 가속된 제1차 방법을 통해 효율적으로 해결 가능하여 실용적 구현을 가능하게 했다.
• 베르게의 최대값 정리와 목적 함수의 연속성에 의해 증명된 바와 같이, DRO 예측기는 연속적이고 안정적인 성질을 지닌다.