[논문 리뷰] Active Learning for Binary Classification with Abstention

Shubhanshu Shekhar, Mohammad Ghavamzadeh외 1명|arXiv (Cornell University)|2019. 06. 01.

Machine Learning and Algorithms참고 문헌 32인용 수 6

한 줄 요약

이 논문은 비모수적 프레임워크를 사용하여 고정비용 및 두 가지 유한비율 변형 설정에서 이元분류에 대한 주동학습 알고리즘을 제안한다. 최소최대 근사 최적의 초과 위험 경계를 확립하고, 알려지지 않은 매끄러움 매개변수를 위한 적응 전략을 도입하며, 고차원 문제에 대해 계산 효율적인 변형을 제공한다.

ABSTRACT

We construct and analyze active learning algorithms for the problem of binary classification with abstention. We consider three abstention settings: \emph{fixed-cost} and two variants of \emph{bounded-rate} abstention, and for each of them propose an active learning algorithm. All the proposed algorithms can work in the most commonly used active learning models, i.e., \emph{membership-query}, \emph{pool-based}, and \emph{stream-based} sampling. We obtain upper-bounds on the excess risk of our algorithms in a general non-parametric framework and establish their minimax near-optimality by deriving matching lower-bounds. Since our algorithms rely on the knowledge of some smoothness parameters of the regression function, we then describe a new strategy to adapt to these unknown parameters in a data-driven manner. Since the worst case computational complexity of our proposed algorithms increases exponentially with the dimension of the input space, we conclude the paper with a computationally efficient variant of our algorithm whose computational complexity has a polynomial dependence over a smaller but rich class of learning problems.

연구 동기 및 목표

• 모델이 결정을 유보함으로써 오차 비용을 줄일 수 있는 설정에서 이원분류에 대한 주동학습 방법의 부족을 해결한다.
• 고정비용, 알려진 근연도를 가진 유한비율, 알려지지 않은 근연도를 가진 유한비율의 세 가지 유형의 결정 유보 설정에서 작동하는 알고리즘을 설계한다.
• 초과 위험에 대한 상한과 하한 경계를 유도하여 이론적 보장을 확립하고, 최소최대 근사 최적성을 증명한다.
• 사전 지식 없이도 알려지지 않은 매끄러움 매개변수를 데이터 기반으로 추정할 수 있는 데이터 기반 적응 전략을 개발한다.
• 차원 수 D에 대한 지수적 의존도를 줄이며 강력한 성능을 유지하는 고차원 문제에 적합한 계산 효율적인 변형을 제안한다.

제안 방법

• 입력값 X에 대해 조건부 확률 $\eta(x) = P(Y=1|X=x)$ 를 나타내는 회귀 함수를 정의하고, $\Delta$ (기권) 옵션을 포함한 레이블 분포로 매핑하는 기권 분류기의 정의를 제시한다.
• 고정비용(알려진 $\lambda$), 근연도가 알려진 유한비율, 근연도가 알려지지 않은 유한비율의 세 가지 설정에 대해 풀-기반, 스트림-기반, 멤버십-질의 모델을 사용하여 주동학습 알고리즘을 설계한다.
• 회귀 함수 $\eta(x)$ 에 대한 매끄러움 가정(예: 호일더 유형의 정규성)과 $P_X$ 의 유계 밀도를 포함한 비모수적 프레임워크를 사용하여 초과 위험 경계를 유도한다.
• 대부분의 경우 알려지지 않은 매끄러움 매개변수를 데이터 기반으로 밴드위드 및 임계값을 선택함으로써 추정하는 새로운 적응 전략을 도입하여 알고리즘의 강건성을 향상시킨다.
• 결정 임계값 주변의 불확실성 영역을 개선하기 위해 노이즈가 섞인 이진 탐색 전략을 적용하여 필요한 레이블 수를 감소시킨다.
• 입력 공간의 저차원 다양체 또는 구조화된 입력 공간으로 검색 공간을 제한함으로써 계산 효율적인 변형을 도입하여 차원 수 D에 대해 복잡도를 지수적에서 다항식으로 감소시킨다.

실험 결과

연구 질문

• RQ1 이원분류에 대한 주동학습 전략은 비모수적 설정에서 최소최대 최적의 초과 위험을 달성할 수 있는가?
• RQ2 고정비용 및 유한비율 설정에서, 주동학습의 초과 위험은 수동학습에 비해 어떻게 비교되는가?
• RQ3 알려지지 않은 매끄러움 매개변수의 영향은 알고리즘 성능에 미치는가? 그리고 이는 데이터로부터 적응적으로 추정될 수 있는가?
• RQ4 환경 차원 $D$ 는 주동학습의 계산 복잡도에 어떤 영향을 미치며, 이를 완화할 수 있는가?
• RQ5 지수적 의존도를 줄이며 강력한 이론적 보장을 유지하는 계산 효율적인 변형을 설계할 수 있는가?

주요 결과

• 제안된 주동학습 알고리즘은 고정비용 및 유한비율 설정 모두에서 최소최대 근사 최적의 초과 위험 상한을 달성하며, 이는 유도된 하한 경계와 일치한다.
• 고정비용 및 유한비율 설정에서, 매끄러움 및 밀도 가정 하에 초과 위험은 $O(n^{-\frac{\alpha_0 \beta}{2\alpha_0 \beta + D}})$ 의 비율로 스케일링된다. 여기서 $\alpha_0$ 와 $\beta$ 는 매끄러움 매개변수이다.
• 적응 전략은 사전 지식 없이도 알려지지 않은 매끄러움 매개변수를 성공적으로 추정하며, 비적응 버전과 동일한 초과 위험 비율을 유지한다.
• 주요 알고리즘의 최악의 경우 계산 복잡도는 입력 차원 $D$ 에 대해 지수적으로 증가하지만, 제한된 문제 클래스에서는 다항식 시간 변형을 통해 이를 완화할 수 있다.
• 기록 가능성(DE) 가정은 큰 미분류 영역을 피하기 위해 필수적이다. 이 가정이 없을 경우 결론 임계값 근처의 낮은 밀도로 인해 알고리즘의 수렴 속도가 저하된다.
• 추가로 $P_X$ 가 아래에서 유계 밀도를 가진다고 가정할 경우, 위험 경계에서의 유효 차원은 $\max\{0, D - \beta \alpha_0\}$ 으로 감소하며, 저차원 다양체에서는 표본 효율성이 향상된다.