[논문 리뷰] Comparison Based Learning from Weak Oracles

Ehsan Kazemi, Lin Chen외 2명|arXiv (Cornell University)|2018. 02. 20.

Machine Learning and Algorithms참고 문헌 31인용 수 4

한 줄 요약

이 논문은 사용자가 자신감이 있을 때만 응답하는 약한 오라클 모델을 도입하여, 소음이 있는 환경에서 인간의 망설임을 모방하는 비교 기반 학습을 제안한다. 이는 메트릭 공간에서 적은 비교로 목표 물체를 효율적으로 탐색할 수 있는 Worcs-I 및 Worcs-II 알고리즘을 제안하며, 목표 분포의 엔트로피에 가까운 질의 복잡도를 달성한다. 특히 Worcs-II는 거리 또는 랭킹 접근이 제한된 환경에서도 적용 가능하다.

ABSTRACT

There is increasing interest in learning algorithms that involve interaction between human and machine. Comparison-based queries are among the most natural ways to get feedback from humans. A challenge in designing comparison-based interactive learning algorithms is coping with noisy answers. The most common fix is to submit a query several times, but this is not applicable in many situations due to its prohibitive cost and due to the unrealistic assumption of independent noise in different repetitions of the same query. In this paper, we introduce a new weak oracle model, where a non-malicious user responds to a pairwise comparison query only when she is quite sure about the answer. This model is able to mimic the behavior of a human in noise-prone regions. We also consider the application of this weak oracle model to the problem of content search (a variant of the nearest neighbor search problem) through comparisons. More specifically, we aim at devising efficient algorithms to locate a target object in a database equipped with a dissimilarity metric via invocation of the weak comparison oracle. We propose two algorithms termed WORCS-I and WORCS-II (Weak-Oracle Comparison-based Search), which provably locate the target object in a number of comparisons close to the entropy of the target distribution. While WORCS-I provides better theoretical guarantees, WORCS-II is applicable to more technically challenging scenarios where the algorithm has limited access to the ranking dissimilarity between objects. A series of experiments validate the performance of our proposed algorithms.

연구 동기 및 목표

• 사용자가 불확실하거나 일관되지 않을 때 발생하는 소음이 많거나 신뢰할 수 없는 인간 피드백 문제를 해결하기 위해.
• 기존의 강력하거나 소음이 많은 오라클 모델과 달리, 사용자가 불확실할 경우 응답을 회피하는 약한 오라클을 도입하여 인간 행동을 더 현실적으로 모델링하기 위해.
• 사용자 불확실성에 견딜 수 있도록 최소한의 질의로 목표를 달성하는 효율적인 비교 기반 검색 알고리즘을 설계하기 위해.
• 목표 분포의 엔트로피에 가까운 정보 이론적 하한선에 가까운 질의 복잡도에 대한 이론적 보장을 제공하기 위해.

제안 방법

• 사용자가 답변에 대해 매우 자신감이 있을 경우에만 쌍별 비교 질의에 응답하고, 그렇지 않으면 '?'(기권)를 반환하는 약한 오라클 모델을 제안한다.
• 메트릭 공간 내에서 버전 스페이스 축소 문제로 목표 물체 탐색을 모델링하며, 약한 오라클을 통해 가능한 후보를 반복적으로 좁혀나간다.
• 전체 거리 정보에 접근 가능한 Worcs-I를 설계하여, 목표 분포의 엔트로피에 대해 상수 요인 내의 질의 복잡도를 달성하는 이론적으로 최적의 알고리즘이다.
• 거리 또는 랭킹 데이터 접근이 제한된 상황을 고려해 설계된 Worcs-II는 계층적 클러스터링 기반 접근을 통해 균형을 유지하고 질의 비용을 줄인다.
• 메트릭의 내재 차원성에 기반한 볼 커버링 기법을 사용하며, 반지름을 매개변수 α로 조정하여 해상도를 제어한다.
• 버전 스페이스를 유지하면서 불확실성을 가장 효과적으로 줄이는 쌍별 질의를 선택하는 재귀적 검색 전략을 사용하며, 신뢰도 임계값에 따라 적응적으로 선택한다.

실험 결과

연구 질문

• RQ1 기존의 강력하거나 소음이 많은 오라클 모델보다 인간의 불확실성을 더 현실적으로 모델링할 수 있는 방법은 무엇인가?
• RQ2 불확실할 경우 기권하는 약한 오라클 모델 하에서 목표 물체를 식별하기 위해 필요한 비교의 이론적 최소 수는 얼마인가?
• RQ3 이 약한 오라클 모델 하에서 목표 분포의 정보 이론적 엔트로피에 가까운 질의 복잡도를 달성할 수 있는 알고리즘을 설계할 수 있는가?
• RQ4 실제 응용에서처럼 부분적인 거리 또는 랭킹 정보만 제공되는 상황에서 알고리즘의 성능은 어떠한가?
• RQ5 데이터셋 크기, 신뢰도 매개변수 α, 수요 분포의 힘 법칙 지수에 따라 알고리즘 성능은 어떻게 변화하는가?

주요 결과

• Worcs-I는 목표 분포의 엔트로피에 대해 상수 요인 내의 질의 복잡도를 달성하여 강력한 이론적 보장을 제공한다.
• Worcs-II는 실제 적용에서 거리 또는 랭킹 데이터 접근이 제한된 상황에서도 Worcs-I와 유사한 성능을 보이며, 더 현실적인 상황에 적용 가능하다.
• 실제 데이터셋인 MovieLens, Wine, Music에서 Worcs-II-Weak 및 Worcs-II-Rank는 기존 기준보다 훨씬 낮은 질의 복잡도를 기록했으며, 각각 MovieLens에서 평균 9.79 및 10.79회의 질의를 기록했다.
• Worcs-II-Rank 및 Worcs-II-Weak의 질의 복잡도는 데이터셋 크기 N에 대해 약 O(√N)로 스케일링되며, 양호한 확장성을 보인다.
• 알고리즘은 수요 분포의 힘 법칙 지수 변화에 대해 강건하여 다양한 데이터 접근 패턴에서도 일관된 성능을 보였다.
• Worcs-II-Weak의 계산 비용은 랜덤 선택과 비교해 약간 높을 뿐이며, 적응적 질의 선택에도 불구하고 낮은 오버헤드를 가진다.