[논문 리뷰] Active classification with comparison queries

Daniel M. Kane, Shachar Lovett외 2명|arXiv (Cornell University)|2017. 04. 11.

Machine Learning and Algorithms참고 문헌 6인용 수 3

한 줄 요약

이 논문은 비교 질의를 통한 능동 학습을 제안한다—학습자는 두 예시 중 어느 쪽이 결정 경계에 더 가까운지 묻는다. 이를 통해 큰 마진을 가진 반공간 또는 유한한 비트 기술 길이를 가진 반공간의 경우, n개의 예시를 레이블링하기 위해 O(log n)개의 질의로 충분하며, 이는 기존 능동 학습보다 지수적 향상을 달성한다. 주요 기여는 이러한 질의 하에서 질의 복잡도를 특징짓는 새로운 조합적 척도인 유추 차원(inference dimension)을 도입한 것이다.

ABSTRACT

We study an extension of active learning in which the learning algorithm may ask the annotator to compare the distances of two examples from the boundary of their label-class. For example, in a recommendation system application (say for restaurants), the annotator may be asked whether she liked or disliked a specific restaurant (a label query); or which one of two restaurants did she like more (a comparison query). We focus on the class of half spaces, and show that under natural assumptions, such as large margin or bounded bit-description of the input examples, it is possible to reveal all the labels of a sample of size $n$ using approximately $O(\log n)$ queries. This implies an exponential improvement over classical active learning, where only label queries are allowed. We complement these results by showing that if any of these assumptions is removed then, in the worst case, $Ω(n)$ queries are required. Our results follow from a new general framework of active learning with additional queries. We identify a combinatorial dimension, called the \emph{inference dimension}, that captures the query complexity when each additional query is determined by $O(1)$ examples (such as comparison queries, each of which is determined by the two compared examples). Our results for half spaces follow by bounding the inference dimension in the cases discussed above.

연구 동기 및 목표

• 비교 질의—두 예시 중 어느 것이 결정 경계에 더 가까운지 묻는 것—가 능동 학습에서 질의 복잡도를 크게 감소시킬 수 있는지 조사하는 것.
• 표준 능동 학습(레이블 질의만 허용)에 비해 비교 질의가 지수적 향상을 이끌어내는 조건을 규명하는 것.
• 추가 질의 유형(특히 일정 수의 예시에 의해 결정되는 것들)이 있는 능동 학습을 위한 일반적인 이론적 프레임워크를 개발하는 것.
• 큰 마진 또는 입력 기술 길이가 유한한 자연스러운 가정 하에서 비교 질의를 사용한 반공간 학습의 질의 복잡도를 특징짓는 것.
• 이러한 가정이 없을 경우 최악의 경우에 Ω(n)개의 질의가 필요하다는 점을 보여주어 날카로운 하한을 확립하는 것.

제안 방법

• 추가 질의(예: 비교)가 허용될 경우 능동 학습의 질의 복잡도를 특징짓기 위해 새로운 조합적 척도인 유추 차원을 도입한다.
• 유추 차원을 집합 S의 최대 크기로 정의한다. 여기서 S의 부분집합은 레이블 질의나 비교 질의만으로 S의 점 하나의 레이블을 유추할 수 없다.
• 개념 클래스의 유추 차원이 d일 경우, 크기가 n인 실현 가능한 샘플을 레이블링하기 위해 O(d)개의 질의로 충분하다는 것을 증명한다.
• 유추 차원과 마진, 입력의 비트 기술 복잡도와 같은 기하학적 성질 간의 연결 고리를 설정한다.
• 함수와 벡터의 명시적 구성 기법을 사용하여 다양한 가정 하에서 유추 차원의 하한을 증명한다.
• 선형 대수학과 함수 해석학을 활용하여, 유일한 점을 제외하고는 모든 점에서 비교 질의와 레이블 질의로 구분이 불가능한 함수의 가족을 구성한다.

실험 결과

연구 질문

• RQ1 비교 질의—두 예시 중 어느 것이 결정 경계에 더 가까운지 묻는 것—가 능동 학습에서 데이터셋을 레이블링하기 위해 필요한 질의 수를 줄일 수 있는가?
• RQ2 비교 질의 사용이 표준 능동 학습에 비해 질의 복잡도를 지수적으로 감소시키는 조건은 무엇인가?
• RQ3 추가 질의 유형이 존재할 경우 질의 복잡도를 캡처하는 일반적인 이론적 프레임워크가 존재하는가?
• RQ4 구조적 가정(예: 마진 또는 제한된 기술 길이)이 없이도 비교 질의와 레이블 질의만 허용할 경우 반공간 학습의 최악의 경우 질의 복잡도는 얼마인가?
• RQ5 유추 차원 프레임워크를 사용하여 특정 개념 클래스에 대해 질의 복잡도의 날카로운 상한과 하한을 유도할 수 있는가?

주요 결과

• 마진이 최소 1/8 이상인 반공간의 경우, 최악의 경우에도 여전히 질의 복잡도가 Ω(n)이므로, 마진만으로는 비교 질의를 통한 지수적 절감이 이루어지지 않음을 보여준다.
• 입력의 비트 기술 길이가 유한할 경우, 질의 복잡도는 O(log n)이 되며, 이는 기존 능동 학습에 비해 지수적 향상을 달성한다.
• 개념 클래스의 유추 차원은 크기가 n인 실현 가능한 샘플을 레이블링하기 위해 필요한 질의 수의 상한이 된다.
• 마진은 크지만 유추 차원이 Ω(n)인 개념 클래스가 존재하므로, 마진만으로는 최악의 경우 질의 복잡도를 감소시킬 수 없다는 것을 증명한다.
• 마진이나 기술 길이 제약 조건과 같은 구조적 가정이 없을 경우, 비교 질의가 있더라도 최악의 경우 Ω(n)개의 질의가 필요하다.
• 유추 차원 프레임워크는 비교 질의를 사용한 능동 학습의 질의 복잡도를 날카롭게 특징짓는 데 성공하며, 특히 질의가 일정 수의 예시에 의해 결정될 경우에 특히 효과적이다.