[논문 리뷰] A General Framework for Robust Interactive Learning

Ehsan Emamjomeh-Zadeh, David Kempe|arXiv (Cornell University)|2017. 10. 16.

Machine Learning and Algorithms참고 문헌 22인용 수 7

한 줄 요약

이 논문은 노이즈 있는 피드백 하에서 강건한 상호작용 학습을 위한 일반적 프레임워크를 제안한다. 사용자가 제안된 모델를 확률 p > 1/2로 수정함에 따라, 모델을 그래프의 노드로 모델링하고 간선을 통해 유효한 피드백을 반영함으로써, 노이즈가 존재하더라도 O(log N) 쿼리 내에 진짜 모델로 수렴함을 보장한다. 이는 분류, 순위 매기기, 군집화 분야의 고전적 결과를 일반화하며, 알고리즘 설계의 최소한의 재설계로 가능하다.

ABSTRACT

We propose a general framework for interactively learning models, such as (binary or non-binary) classifiers, orderings/rankings of items, or clusterings of data points. Our framework is based on a generalization of Angluin's equivalence query model and Littlestone's online learning model: in each iteration, the algorithm proposes a model, and the user either accepts it or reveals a specific mistake in the proposal. The feedback is correct only with probability $p > 1/2$ (and adversarially incorrect with probability $1 - p$), i.e., the algorithm must be able to learn in the presence of arbitrary noise. The algorithm's goal is to learn the ground truth model using few iterations. Our general framework is based on a graph representation of the models and user feedback. To be able to learn efficiently, it is sufficient that there be a graph $G$ whose nodes are the models and (weighted) edges capture the user feedback, with the property that if $s, s^*$ are the proposed and target models, respectively, then any (correct) user feedback $s'$ must lie on a shortest $s$-$s^*$ path in $G$. Under this one assumption, there is a natural algorithm reminiscent of the Multiplicative Weights Update algorithm, which will efficiently learn $s^*$ even in the presence of noise in the user's feedback. From this general result, we rederive with barely any extra effort classic results on learning of classifiers and a recent result on interactive clustering; in addition, we easily obtain new interactive learning algorithms for ordering/ranking.

연구 동기 및 목표

• 분류기, 순위 매기기, 군집화와 같은 다양한 모델의 상호작용 학습을 위한 일반적이고 쿼리 효율적인 프레임워크를 개발하기 위해.
• 정답 피드백 확률이 p > 1/2인 경우에 노이즈 있는 사용자 피드백 환경에서의 학습 문제를 다루기 위해.
• 기존의 상호작용 학습 결과(예: 분류, 군집화)를 단일 이론적 프레임워크로 통합하기 위해.
• 쿼리 효율성이 보장되는 새로운 영역, 예를 들어 상호작용 순위 매기기/정렬 문제에 프레임워크를 확장하기 위해.

제안 방법

• 모든 후보 모델을 가중치가 부여된 그래프 G의 노드로 표현하며, 간선은 유효한 사용자 피드백을 반영한다.
• 핵심 구조적 가정 (*): 사용자가 제공하는 정확한 피드백는 현재 모델에서 목표 모델로 향하는 G 내의 최단경로 상에 있어야 한다.
• 피드백 일관성에 기반해 가중치를 갱신하는 승수 가중치 업데이트 알고리즘을 적용한다.
• 잘못된 모델의 총 가중치가 반복마다 일정 요소만큼 감소하도록 그래프 구조를 활용한다.
• 최단경로 성질을 활용해 노이즈 존재 하에서도 O(log N) 쿼리 내에 수렴을 보장한다.
• 적절한 그래프 구조(예: 인접 교환에 대한 버블 정렬 그래프, 블록 재정렬에 대한 삽입 정렬 그래프)를 정의함으로써 다양한 도메인에 프레임워크를 적응시킨다.

실험 결과

연구 질문

• RQ1 분류기, 순위 매기기, 군집화와 같은 다양한 모델 유형에 대해 통합된 프레임워크를 개발할 수 있는가?
• RQ2 정답 피드백 확률이 p > 1/2인 경우에 악성 노이즈가 있는 사용자 피드백에 대해 강건한 학습을 어떻게 보장할 수 있는가?
• RQ3 상호작용 학습에서 효율적 수렴을 보장하기 위해 필요한 그래프 이론적 성질은 무엇인가?
• RQ4 쿼리 효율성이 보장되는 새로운 문제, 예를 들어 상호작용 순위 매기기 문제에 프레임워크를 적용할 수 있는가?
• RQ5 적절한 학습과 부적절한 학습 환경에서의 계산 복잡도와 쿼리 복잡도 간의 상호 교환 관계는 무엇인가?

주요 결과

• 피드백이 노이즈가 없을 경우, 후보 모델 수 N에 대해 O(log N) 쿼리 내에 진짜 모델로 수렴함을 보장한다.
• 노이즈 있는 피드백(정답 확률 p > 1/2) 하에서도 쿼리 수가 O(log N)로 부드럽게 증가하며, 이때 상수는 p에 따라 달라진다.
• n개의 항목에 대한 상호작용 순위 매기기의 경우, O(n log n) 쿼리로 수행되며, 이는 등가 쿼리 모델 하에서 최적이다.
• VC 차원 d인 이진 분류 문제에 대해, 이전 연구에서 얻은 O(d² log n) 쿼리 경계를 복원함으로써, 이 프레임워크의 일반성을 확인한다.
• 군집화에서 적절한 학습을 수행할 경우, O(log d) 이내로 쿼리 비용 증가가 제한됨을 보여주며, 이는 쿼리 오버헤드의 이론적 한계를 시사한다.
• 이 프레임워크는 비균일 노이즈 모델로도 확장 가능하지만, 이러한 확장에는 주의 깊은 파rameter화와 표기법이 필요하다.