[논문 리뷰] Does Distributionally Robust Supervised Learning Give Robust Classifiers?

Weihua Hu, Gang Niu외 2명|arXiv (Cornell University)|2016. 11. 07.

Domain Adaptation and Few-Shot Learning인용 수 106

한 줄 요약

본 논문은 f-다이버전스를 활용한 DRSL이 분류에서 학습 분포에 대해 최적의 분류기를 도출하고, 비관적 상황의 원인을 밝혀내며, 잠재 사전 확률 변화에 기초한 구조적으로 제약된 DRSL를 제시하고 효율적 알고리즘과 실증 검증을 제공한다.

ABSTRACT

Distributionally Robust Supervised Learning (DRSL) is necessary for building reliable machine learning systems. When machine learning is deployed in the real world, its performance can be significantly degraded because test data may follow a different distribution from training data. DRSL with f-divergences explicitly considers the worst-case distribution shift by minimizing the adversarially reweighted training loss. In this paper, we analyze this DRSL, focusing on the classification scenario. Since the DRSL is explicitly formulated for a distribution shift scenario, we naturally expect it to give a robust classifier that can aggressively handle shifted distributions. However, surprisingly, we prove that the DRSL just ends up giving a classifier that exactly fits the given training distribution, which is too pessimistic. This pessimism comes from two sources: the particular losses used in classification and the fact that the variety of distributions to which the DRSL tries to be robust is too wide. Motivated by our analysis, we propose simple DRSL that overcomes this pessimism and empirically demonstrate its effectiveness.

연구 동기 및 목표

• DRSL with f-divergences를 분류 설정에서 동기 부여하고 분석한다.
• 기존 DRSL이 과도하게 비관적으로 되어 학습 분포 성능에 맞춰지는 원인을 식별한다.
• 잠재 사전 확률 변화(latent prior probability change)를 사용한 구조적으로 제약된 DRSL를 제시하여 비관성을 완화한다.
• 제안 방법에 대해 효율적인 알고리즘을 개발하고 실험적 효과를 입증한다.

제안 방법

• ERM 및 f-divergences를 이용한 DRSL를 검토하고 대립 위험 최소화 목표(ARM/AERM)를 형식화한다.
• 0-1 손실에서 대립 위험이 일반 위험과 단조적이라는 것을 보여 주어 학습 분포 최적성(Theorems 1)으로 귀결된다.
• classification- calibrated surrogate losses를 사용하면 ARM/AERM 하에서 학습 분포 최적성과 유사한 최적성을 얻는다는 것을 보여준다(Theorem 2).
• 잠재 사전 변화: q(z) d p(z), q(x,y|z) = p(x,y|z) 를 부과하여 구조적 DRSL를 도입한다.
• 가중치 벡터 w(z) 하의 f-다이버전스에서 구조적 대립 위험(s-adv) 및 구조적 AERM을 형식화(Eqs. 16).
• Danskin 정리에 의한 효율적 그래디언트 기반 학습을 제공하고 KL 및 PE 다이버전스에 대한 닫힌 형식의 업데이트를 도출한다(Eqs. 22).

실험 결과

연구 질문

• RQ1 f-다이버전스 볼의 분포 변화가 분류 설정에서 진정으로 강건한 분류기를 낳는가?
• RQ2 f-다이버전스를 사용하는 DRSL가 왜 학습 분포 성능에 맞춰지는 비관적 분류기를 초래하는가?
• RQ3 구성적 분포 변화 제약이 강건성을 개선할 수 있는가, 그리고 이를 어떻게 효율적으로 학습할 수 있는가?
• RQ4 KL 및 Pearson 다이버전스가 구조적 DRSL의 계산 효율성과 최적화에 미치는 영향은 무엇인가?
• RQ5 잠재-사전 변화 가정이 실제 데이터에서의 강건성에 실질적 이점을 제공하는가?

주요 결과

• 분류에서 ARM/AERM은 f-다이버전스를 사용할 때 학습 분포에 대해 최적화된 분류기를 생성하는 경향이 있다(Theorems 1).
• 더 가파른 대체 손실을 사용해도 분류 과제의 분포 변화에 대해 강건한 분류기를 신뢰성 있게 만들어 주지 않는다(Theorem 3 논의).
• 분류를 보정한 대리손실은 가설 클래스가 모든 측정 가능 함수일 때 ARM/AERM 하에서 ERM과 유사한 동작을 초래한다(Theorem 2).
• 잠재 사전 변화로 구조적으로 제약된 DRSL가 ARM/AERM의 비관성을 줄이고 더 의미 있는 강건성을 제공한다(Struct-ARM/AERM).
• 구조적 DRSL는 말단 조건에서 매개변수 추정의 수렴 속도를 N 데이터에 대해 차수를 N^{-1/4}로 보인다(대략적 Theorem 4).
• KL 및 PE 다이버전스에 대해 계산 친화적인 내부 최댓값을 가지는 효율적 학습 알고리즘이 도출된다(Eqs. 22, 23).