[논문 리뷰] The Power of Comparisons for Actively Learning Linear Classifiers

Max Hopkins, Daniel M. Kane외 1명|arXiv (Cornell University)|2019. 07. 08.

Machine Learning and Algorithms참고 문헌 40인용 수 5

한 줄 요약

이 논문은 비교 질의—두 점 중 어느 쪽이 더 긍정적일 가능성이 높은지 묻는 질문—가 약한 분포 가정 하에 비동차 선형 분류기의 능동 학습을 지수적으로 더 효율적으로 가능하게 한다는 것을 보여준다. 비교 질의를 사용할 경우, 표준 PAC-학습 모델과 더 엄격한 신뢰성 있고 확률적으로 유용한(RPU) 학습 모델 모두가 거의 최적의 샘플 및 질의 복잡도를 달성하며, 이는 이전에 레이블만을 사용하는 설정에서 존재했던 지수적 하한을 극복한다.

ABSTRACT

In the world of big data, large but costly to label datasets dominate many fields. Active learning, a semi-supervised alternative to the standard PAC-learning model, was introduced to explore whether adaptive labeling could learn concepts with exponentially fewer labeled samples. While previous results show that active learning performs no better than its supervised alternative for important concept classes such as linear separators, we show that by adding weak distributional assumptions and allowing comparison queries, active learning requires exponentially fewer samples. Further, we show that these results hold as well for a stronger model of learning called Reliable and Probably Useful (RPU) learning. In this model, our learner is not allowed to make mistakes, but may instead answer "I don't know." While previous negative results showed this model to have intractably large sample complexity for label queries, we show that comparison queries make RPU-learning at worst logarithmically more expensive in both the passive and active regimes.

연구 동기 및 목표

• 일반적인 분포 하에서 비동차 선형 분리자에 대한 능동 학습에서 기존의 지수적 질의 복잡도 장벽을 극복하기 위해.
• 비동차 선형 분류기로의 비교 질의의 능력을 동차 경우를 초월해 확장하기 위해.
• 비오류를 허용하지만 '모르겠음' 응답은 허용하는 RPU-학습 모델이 온건한 분포 조건 하에서 실용적으로 가능해지는지 확인하기 위해.
• 활성 학습과 수동 학습의 복잡도를 분포 기반 측정치로 특성화하기 위해 평균 추론 차원 개념을 도입하고 분석하기 위해.
• 이론적 학습 모델과 레이블링이 비용이 많이 들지만 비교가 가능한 상황에서의 실용적 응용을 연결하기 위해.

제안 방법

• KLMZ의 추론 차원을 분포 기반 설정으로 확장한 새로운 복잡도 측정치인 평균 추론 차원을 도입한다.
• 평균 추론 차원의 구조적 분석을 통해 비교 질의를 사용한 활성 RPU-학습의 샘플 및 질의 복잡도를 경계한다.
• 데이터 분포에 대한 약한 농도 및 반농도 경계를 활용하여 비교 질의가 정보성 있는 피드백을 제공함을 보장한다.
• 최악의 경우 추론 차원에서 평균적 경우로의 감소를 적용하여 일반적인 샘플이 전체 분포의 학습 능력을 유지함을 보여준다.
• 볼록 기하학과 선형 프로그래밍 기법을 활용하여 비교 질의의 정보 획득량을 분석한다.
• 이소트로픽 및 s-볼록 분포에 대한 이전 결과를 일반적인 s-볼록 및 로그-볼록 분포로 확장하며 최소한의 가정을 둔다.

실험 결과

연구 질문

• RQ1 비교 질의는 비동차 선형 분류기의 능동 학습에서 지수적 질의 복잡도 장벽을 극복할 수 있는가?
• RQ2 오류를 금지하지만 '모르겠음' 응답을 允허하는 RPU-학습 모델이 비교 질의를 통해 실현 가능해지는가?
• RQ3 평균 추론 차원은 분포 가정 하에 활성 학습 및 수동 학습의 샘플 복잡도를 특성화하는 데 사용될 수 있는가?
• RQ4 비교 질의의 추가가 RPU-학습에서 샘플 복잡도와 질의 복잡도 간의 트레이드오프에 어떤 영향을 미치는가?
• RQ5 평균 추론 차원 프레임워크는 2-로컬 또는 3-로컬 비교와 같은 고차원 상대 질의로 확장될 수 있는가?

주요 결과

• 비교 질의를 통해 약한 분포 가정 하에서 비동차 선형 분리자 학습의 질의 복잡도가 차원에 대해 지수적에서 로그적 수준으로 감소한다.
• RPU-학습의 경우, 비교 질의 덕분에 샘플 복잡도가 PAC-학습의 최악의 경우에 비해 최대 로그 수준으로 증가하며, 거의 최적의 성능를 달성한다.
• 분포의 평균 추론 차원은 활성 RPU-학습의 샘플 및 질의 복잡도를 결정하며, 경계는 $ O\big(\frac{\text{polylog}(1/\u0001)}{\u0001} \text{polylog}(1/\u0001)\big) $ 로 스케일링된다.
• 그림 3의 왼쪽 그래프는 3차원에서 레이블 기반과 비교 기반 질의 복잡도 사이에 지수적 격차가 있음을 보여주며, 이는 이론적 성과를 확인한다.
• 그림 3의 오른쪽 그래프는 비교 질의를 사용한 Perfect-Learning 가 차원에 대해 거의 선형적으로 스케일링됨을 확인하여 이론적 주장에 대한 지지를 한다.
• 논문은 3-로컬 질의—예를 들어 'x₁가 x₂ 또는 x₃에 더 가까운가?'—가 평균 추론 차원이 $ 2^{-\tilde{O}(n^3)} $ 이하로 유한할 경우 더 강력한 보장을 제공할 수 있음을 수립한다.