[논문 리뷰] Incorporating Unlabeled Data into Distributionally Robust Learning

Charlie Frogner, Sebastian Claici외 2명|arXiv (Cornell University)|2019. 12. 16.

Machine Learning and Algorithms참고 문헌 44인용 수 10

한 줄 요약

이 논문은 비라벨 데이터를 통합하여 적대자의 탐색 가능 영역을 제약함으로써 일반화 보장을 향상시키고, 기존 방법이 실패하는 상황에서도 확신 있는 예측을 가능하게 하는 분포로 불안정성 학습 프레임워크를 제안한다. 비라벨 데이터를 활용해 워샤르스테인 거리와 최적 운반 이론을 통해 모호성 집합을 정밀하게 조정함으로써, 더 날카운 성능 경계를 도출하고, 주로 활성 학습과 강건한 분류에서 표준 방법보다 뛰어난 성능을 보인다.

ABSTRACT

We study a robust alternative to empirical risk minimization called distributionally robust learning (DRL), in which one learns to perform against an adversary who can choose the data distribution from a specified set of distributions. We illustrate a problem with current DRL formulations, which rely on an overly broad definition of allowed distributions for the adversary, leading to learned classifiers that are unable to predict with any confidence. We propose a solution that incorporates unlabeled data into the DRL problem to further constrain the adversary. We show that this new formulation is tractable for stochastic gradient-based optimization and yields a computable guarantee on the future performance of the learned classifier, analogous to -- but tighter than -- guarantees from conventional DRL. We examine the performance of this new formulation on 14 real datasets and find that it often yields effective classifiers with nontrivial performance guarantees in situations where conventional DRL produces neither. Inspired by these results, we extend our DRL formulation to active learning with a novel, distributionally-robust version of the standard model-change heuristic. Our active learning algorithm often achieves superior learning performance to the original heuristic on real datasets.

연구 동기 및 목표

• 과도하게 넓은 모호성 집합으로 인해 발생하는 빈약한 예측과 확신 부족 문제를 해결한다.
• 비라벨 데이터를 활용해 적대자의 분포 탐색 가능 영역을 제약함으로써 분포로 불안정성 학습(DRL)의 일반화 보장을 향상시킨다.
• 비라벨 데이터를 통합한 DRL에 대해 계산 가능한, 빈약하지 않은 성능 경계를 확보할 수 있는 실용적인 최적화 프레임워크를 개발한다.
• 분포로 불안정성 학습 프레임워크를 활성 학습에 확장하기 위해, 분포 변화에 대한 모델 변화를 고려한 강건한 모델 변화 히우리스틱을 도입한다.
• 실증적으로 제안된 방법이 기존 DRL이 실패하는 14개의 실제 데이터셋에서 비어 있지 않은 성능 보장을 갖는 효과적인 분류기를 도출함을 입증한다.

제안 방법

• 적대자의 모호성 집합이 라벨된 표본의 경험적 분포를 중심으로 한 워샤르스테인 볼과 비라벨 데이터로부터 유도된 주변 분포 제약 조건을 모두 충족하도록 설정된 분포로 불안정성 학습 문제를 수립한다.
• 최적 운반 이론과 워샤르스테인 거리를 활용해 모호성 집합을 정의함으로써, 집합 내 분포가 라벨된 데이터에 가까우면서도 비라벨 데이터의 특징 분포와 일치하도록 보장한다.
• 비라벨 데이터를 활용해 적대자의 제약 조건을 강화할 수 있도록 허용하는 DRL 문제의 이중 최적화 공식을 제안한다.
• 제약된 모호성 집합 위에서 최악의 평균 손실을 계산함으로써 분포로 불안정성 활성 학습 히우리스틱을 구성하고, 분포 변화에 대한 잠재적 모델 변화를 최대화하는 샘플을 선택한다.
• 적응형 학습률과 배치 처리를 활용해 Adam 최적화기로 이중 최적화 문제를 효율적으로 해결한다.
• Clopper-Pearson 구간을 통해 레이블 확률의 경계를 추정하고, 이분 탐색을 사용해 타당성을 유지하면서도 과도한 보수성 방지를 위한 최소 워샤르스테인 반경을 결정한다.

실험 결과

연구 질문

• RQ1 비라벨 데이터를 활용해 분포로 불안정성 학습에서 적대자의 모호성 집합을 제약하여 예측의 확신도를 향상시킬 수 있는가?
• RQ2 비라벨 데이터를 통합함으로써 기존 DRL에 비해 더 날카운, 빈약하지 않은 일반화 보장을 달성할 수 있는가?
• RQ3 제안된 DRL 프레임워크를 더 높은 샘플 효율성으로 활성 학습에 확장할 수 있는가?
• RQ4 제안된 분포로 불안정성 활성 학습 히우리스틱의 성능은 표준 히우리스틱과 무작위 샘플링에 비해 어떻게 비교되는가?
• RQ5 기존 DRL이 너무 넓은 모호성 집합으로 인해 실패하는 상황에서, 제안된 방법이 효과적인 분류기를 도출하는 경우는 어떤가?

주요 결과

• 기존 DRL이 너무 넓은 모호성 집합으로 인해 빈약한 경계를 도출하는 14개의 실제 데이터셋에서 제안된 방법이 비어 있지 않은 성능 보장을 제공한다.
• 비라벨 데이터를 통합함으로써 적대자의 탐색 가능 영역이 크게 좁혀져, 균일한 클래스 확률을 할당하는 대신 확신 있는 예측이 가능해지는 분류기가 가능해진다.
• 분포로 불안정성 활성 학습 히우리스틱은 균일한 무작위 샘플링과 표준 모델 변화 히우리스틱보다 라벨된 샘플 수에 비례한 가능성 증가율에서 뛰어난 성능을 보인다.
• 활성 학습 평가에서 제안된 방법의 가능성 곡선 아래 면적은 기준선 대비 100배 높아, 뛰어난 샘플 효율성을 나타낸다.
• 최적화는 확률적 경량 최하강법과 이중 공식화를 통해 실현 가능하고 확장 가능한 성능을 보이며, 계산 효율성과 타당성을 유지한다.
• 레이블 확률의 신뢰구간 사용과 적응형 반경 선택 전략이 강건성을 확보하면서도 타당성과 계산 효율성을 유지한다.