[논문 리뷰] Understanding Uncertainty Sampling

Shang Liu, Xiaocheng Li|arXiv (Cornell University)|2023. 07. 06.

Machine Learning and Algorithms인용 수 4

한 줄 요약

이 논문은 부분 미분 방정식을 통해 원래 손실과 불확실성 측정법을 연결하는 '등가 손실'을 정의하여 활성 학습에서 불확실성 샘플링에 대한 일반 이론적 프레임워크를 제안한다. 스트림 기반 및 풀 기반 활성 학습에 대해 처음으로 일반화 경계를 수립하고, 손실을 불확실성으로 사용하는 것이 최적임을 증명하며, 불확실성 샘플링을 위험 감수성 및 분포로 불안정성에 대한 목적함수와 연결하여 널리 사용되지만 히우리스틱에 가까운 방법에 대한 이론적 기반을 제공한다.

ABSTRACT

Uncertainty sampling is a prevalent active learning algorithm that queries sequentially the annotations of data samples which the current prediction model is uncertain about. However, the usage of uncertainty sampling has been largely heuristic: (i) There is no consensus on the proper definition of "uncertainty" for a specific task under a specific loss; (ii) There is no theoretical guarantee that prescribes a standard protocol to implement the algorithm, for example, how to handle the sequentially arrived annotated data under the framework of optimization algorithms such as stochastic gradient descent. In this work, we systematically examine uncertainty sampling algorithms under both stream-based and pool-based active learning. We propose a notion of equivalent loss which depends on the used uncertainty measure and the original loss function and establish that an uncertainty sampling algorithm essentially optimizes against such an equivalent loss. The perspective verifies the properness of existing uncertainty measures from two aspects: surrogate property and loss convexity. Furthermore, we propose a new notion for designing uncertainty measures called extit{loss as uncertainty}. The idea is to use the conditional expected loss given the features as the uncertainty measure. Such an uncertainty measure has nice analytical properties and generality to cover both classification and regression problems, which enable us to provide the first generalization bound for uncertainty sampling algorithms under both stream-based and pool-based settings, in the full generality of the underlying model and problem. Lastly, we establish connections between certain variants of the uncertainty sampling algorithms with risk-sensitive objectives and distributional robustness, which can partly explain the advantage of uncertainty sampling algorithms when the sample size is small.

연구 동기 및 목표

• 불확실성 샘플링의 이론적 이해 부족을 해결하기 위해, 널리 사용되지만 히우리스틱에 가까운 활성 학습 전략의 이론적 기반을 마련하기 위해.
• 등가 손실 개념을 활용해 다양한 불확실성 측정법(예: 엔트로피, 마진, 최소 신뢰도)을 하나의 이론적 시각으로 통합하기 위해.
• 분류 및 회귀 문제에 모두 적용 가능한 일반적이고 문제에 종속되지 않는 불확실성 측정법인 '손실을 불확실성으로 사용하기'를 개발하기 위해.
• 스트림 기반 및 풀 기반 활성 학습 설정에서 불확실성 샘플링에 대해 처음으로 일반화 경계를 유도하기 위해.
• 불확실성 샘플링을 위험 감수성 최적화 및 분포로 불안정성 최적화와 연결하여, 소규모 데이터에서의 경험적 성공을 설명하기 위해.

제안 방법

• 원래 손실과 불확실성 측정법을 연결하는 부분 미분 방정식을 통해 '등가 손실'의 개념을 제안하고, 불확실성 샘플링이 이 유도된 목표함수를 최적화함을 보여줌.
• 조건부 기대 손실을 특징 조건 하에 불확실성 측정법으로 사용하는 '손실을 불확실성으로 사용하기'를 도입함. 이는 해석적으로 다룰 수 있고 다양한 작업에 일반화 가능함.
• 실제 데이터 분포 하에서 기대 등가 손실에 대한 확률적 경사 하강법(SGD) 업데이트와 동일한 불확실성 샘플링 알고리즘을 수립함.
• 등가 손실 목표함수에 대한 SGD 수렴 분석을 통해 스트림 기반 및 풀 기반 활성 학습에 대한 일반화 경계를 도출함.
• KKT 조건과 발산 제약 조건을 사용하여 고손실, 고불확실성 샘플을 우선순위로 삼는 샘플링 정책의 최적성을 증명함.
• 손실에 대한 편미분을 통한 분석을 통해 불확실성 샘플링이 편미분에 대한 최악의 위험을 암묵적으로 최소화함을 보여주어, 위험 감수성 목적함수 및 분포로 불안정성 최적화와 연결함.

실험 결과

연구 질문

• RQ1 어떻게 다양한 불확실성 측정법(예: 엔트로피, 마진, 최소 신뢰도)을 하나의 이론적 프레임워크로 통합할 수 있는가?
• RQ2 불확실성 샘플링이 실제로 최적화하는 기저의 최적화 목표함수는 무엇인가?
• RQ3 스트림 기반 및 풀 기반 활성 학습에서 불확실성 샘플링에 대해 일반화 경계를 도출할 수 있는가?
• RQ4 소규모 데이터에서 불확실성 샘플링이 이론적 보장 없이도 잘 작동하는 이유는 무엇인가?
• RQ5 분류 및 회귀 작업 전반에 균일하게 적용 가능한 단일 불확실성 측정법을 설계할 수 있는가?

주요 결과

• 논문은 불확실성 샘플링가 부분 미분 방정식을 통해 원래 손실과 불확실성 측정법을 연결한 '등가 손실'을 최적화함을 입증하며 통합적인 이론적 기반을 제공함.
• 제안된 '손실을 불확실성으로 사용하기' 측정법은 이전의 사례별 설계와 달리 해석적으로 잘 다뤄지고 분류 및 회귀 작업 전반에 일반화 가능함.
• 스트림 기반 및 풀 기반 활성 학습에 대해 일반화 경계를 도출하여 최소한의 가정 하에 수렴성과 데이터 효율성을 입증함.
• 이 프레임워크는 소규모 데이터 환경에서 불확실성 샘플링의 경험적 성공을 위험 감수성 및 분포로 불안정성 최적화 목적함수와 연결함으로써 설명함.
• 이론적 분석을 통해 등가 손실에 대한 SGD를 통한 불확실성 샘플링이 표준 가정 하에 $O(1/√{T})$ 수렴 속도를 달성함을 확인함.
• 최적의 샘플링 정책, 즉 조건부 기대 손실이 가장 높은 샘플을 우선순위로 삼는 정책이 KKT 조건을 만족하는 제약 최적화 문제의 해임을 증명함.