[논문 리뷰] The Relationship Between Agnostic Selective Classification Active Learning and the Disagreement Coefficient

Roei Gelbhart, Ran El‐Yaniv|arXiv (Cornell University)|2017. 03. 19.

Machine Learning and Algorithms인용 수 6

한 줄 요약

이 논문은 베르누이 성질과 같은 제한적인 가정 없이 악성 설정에서 빠른 거부 비율을 달성하는 새로운 점별 경쟁적 선택적(PCS) 학습 알고리즘인 ILESS를 소개한다. 이는 빠른 거부 비율, 다항로그 불일치 계수, 그리고 새로운 불일치 기반 활성 학습 알고리즘인 Active-ILESS에서의 지수적 속도 향상 간의 등가성을 확립하며, 불일치 계수 프레임워크 하에서 선택적 분류와 활성 학습 간의 이론적 통찰을 통합한다.

ABSTRACT

A selective classifier (f,g) comprises a classification function f and a binary selection function g, which determines if the classifier abstains from prediction, or uses f to predict. The classifier is called pointwise-competitive if it classifies each point identically to the best classifier in hindsight (from the same class), whenever it does not abstain. The quality of such a classifier is quantified by its rejection mass, defined to be the probability mass of the points it rejects. A "fast" rejection rate is achieved if the rejection mass is bounded from above by O(1/m) where m is the number of labeled examples used to train the classifier (and O hides logarithmic factors). Pointwise-competitive selective (PCS) classifiers are intimately related to disagreement-based active learning and it is known that in the realizable case, a fast rejection rate of a known PCS algorithm (called Consistent Selective Strategy) is equivalent to an exponential speedup of the well-known CAL active algorithm. We focus on the agnostic setting, for which there is a known algorithm called LESS that learns a PCS classifier and achieves a fast rejection rate (depending on Hanneke's disagreement coefficient) under strong assumptions. We present an improved PCS learning algorithm called ILESS for which we show a fast rate (depending on Hanneke's disagreement coefficient) without any assumptions. Our rejection bound smoothly interpolates the realizable and agnostic settings. The main result of this paper is an equivalence between the following three entities: (i) the existence of a fast rejection rate for any PCS learning algorithm (such as ILESS); (ii) a poly-logarithmic bound for Hanneke's disagreement coefficient; and (iii) an exponential speedup for a new disagreement-based active learner called ActiveiLESS.

연구 동기 및 목표

• 악성 선택적 분류에서 베르누이 성질과 같은 강력한 가정을 제거하기 위해.
• 사전 분포 제약 조건 없이 악성 설정에서 점별 경쟁적 선택적 학습에 대해 빠른 거부 비율을 확립하기 위해.
• 불일치 계수 프레임워크를 통해 선택적 분류와 활성 학습을 통합하기 위해.
• 빠른 거부 비율, 유계 불일치 계수, 활성 학습에서의 지수적 레이블 복잡도 감소 간의 등가성을 입증하기 위해.

제안 방법

• 불일치 기반 샘플링을 사용해 정보성 있는 예제를 적응적으로 선택하는 점별 경쟁적 선택적 분류를 위한 새로운 알고리즘인 ILESS를 제안한다.
• Active-ILESS를 시뮬레이션하여 오차와 거부 비율을 제어하는 배치 기반 활성 학습 전략(Batch-ILESS)을 활용한다.
• VC 차원과 로그 인자에서 유도된 신뢰 반경 경계를 사용해 선택적 분류기의 일반화 오차를 제어한다.
• 변화하는 분포 하에서 경험 리스크가 진짜 리스크에서 벗어남을 제한하기 위해 농도 부등식(예: 체르노프 부등식)을 적용한다.
• 반복 과정에서 진짜 리스크 최소화자 $ f^* $ 의 일관성을 유지하기 위해 $ \mathcal{P_{X,Y}}(G_{t-1}) $ 를 통한 분포 이동 메커니즘을 도입한다.
• 세 핵심 요소 간의 등가성을 확립: 빠른 거부 비율, 다항로그 불일치 계수, 활성 학습에서의 지수적 속도 향상.

실험 결과

연구 질문

• RQ1 점별 경쟁적 선택적 분류기인 PCS가 베르누이 성질을 가정하지 않고 악성 설정에서 빠른 거부 비율을 달성할 수 있는가?
• RQ2 선택적 분류에서의 빠른 거부와 활성 학습에서의 지수적 레이블 복잡도 감소 간에 직접적인 등가성이 존재하는가?
• RQ3 불일치 계수가 악성 경우의 선택적 학습과 활성 학습의 표본 복잡도에 어떻게 영향을 미치는가?
• RQ4 추가적인 분포 가정 없이도 PCS 알고리즘의 거부 비율을 불일치 계수로만 경계할 수 있는가?
• RQ5 불일치 계수와 불일치 기반 활성 학습 알고리즘의 성능 간의 관계는 무엇인가?

주요 결과

• ILESS는 악성 설정에서 $ \tilde{O}(1/m) $ 으로 경계되는 빠른 거부 비율을 달성하며, 베르누이 성질을 요구하지 않는다.
• ILESS의 거부 비율은 불일치 계수에 따라 실현 가능 케이스와 악성 케이스 사이를 부드럽게 보간한다.
• 모든 PCS 알고리즘에 대해 빠른 거부 비율은 한네케의 불일치 계수에 대한 다항로그 경계와 등가이다.
• Active-ILESS가 지수적 레이블 복잡도 감소를 달성하는 것은 불일치 계수가 다항로그일 때에만 성립한다.
• Batch-ILESS의 거부 비율은 $ \theta_{f^*}(R_0) \cdot R_0 $ 로 경계되며, 여기서 $ R_0 = 2R(f^*) + 44 \cdot \frac{B}{m} + 12 \cdot \sqrt{\frac{B}{m} \cdot R(f^*)} $ 이고 $ B = 4d\ln(\frac{8m^2e}{d\delta}) $ 이다.
• 불일치 계수는 악성 설정에서도 선택적 분류와 활성 학습 간의 표본 복잡도 트레이드오���을 완전히 특징짓는다.