[論文レビュー] Comparison Based Learning from Weak Oracles

Ehsan Kazemi, Lin Chen+2 more|arXiv (Cornell University)|Feb 20, 2018

Machine Learning and Algorithms参考文献 31被引用数 4

ひとこと要約

本稿では、ユーザーが自信がある場合にのみ応答する弱いオラクルモデルを導入し、騒音のある環境下での人間のためらいを模倣する比較ベースの学習を提案する。Worcs-I および Worcs-II アルゴリズムを提案し、メトリック空間におけるターゲットオブジェクトを少ない比較回数で効率的に特定する。クエリの複雑さはターゲット分布のエントロピーに非常に近くなる。Worcs-II は距離情報やランク情報へのアクセスが限られている状況でも適用可能である。

ABSTRACT

There is increasing interest in learning algorithms that involve interaction between human and machine. Comparison-based queries are among the most natural ways to get feedback from humans. A challenge in designing comparison-based interactive learning algorithms is coping with noisy answers. The most common fix is to submit a query several times, but this is not applicable in many situations due to its prohibitive cost and due to the unrealistic assumption of independent noise in different repetitions of the same query. In this paper, we introduce a new weak oracle model, where a non-malicious user responds to a pairwise comparison query only when she is quite sure about the answer. This model is able to mimic the behavior of a human in noise-prone regions. We also consider the application of this weak oracle model to the problem of content search (a variant of the nearest neighbor search problem) through comparisons. More specifically, we aim at devising efficient algorithms to locate a target object in a database equipped with a dissimilarity metric via invocation of the weak comparison oracle. We propose two algorithms termed WORCS-I and WORCS-II (Weak-Oracle Comparison-based Search), which provably locate the target object in a number of comparisons close to the entropy of the target distribution. While WORCS-I provides better theoretical guarantees, WORCS-II is applicable to more technically challenging scenarios where the algorithm has limited access to the ranking dissimilarity between objects. A series of experiments validate the performance of our proposed algorithms.

研究の動機と目的

• インタラクティブな学習システムにおけるノイズの多い、あるいは信頼性の低い人間のフィードバックの課題に対処すること。特に、ユーザーが不確実または一貫性のない場合に焦点を当てる。
• 強いオラクルやノイズの多いオラクルモデルとは異なり、不確実な場合に応答を避ける（「引き受けない」）弱いオラクルを導入することで、人間の行動をより現実的にモデル化すること。
• ユーザーの不確実性に耐えうるよう、クエリ回数を最小限に抑える効率的な比較ベースの探索アルゴリズムを設計すること。
• ターゲット分布のエントロピーという情報理論的下界に非常に近いクエリ複雑さに関する理論的保証を提供すること。

提案手法

• ユーザーが答えに非常に自信を持っている場合にのみ応答する弱いオラクルモデルを提案。そうでない場合は '?'（回答を避ける）を返す。
• ターゲットオブジェクトの探索を、メトリック空間におけるバージョンスペースの縮小問題としてモデル化。弱いオラクルを用いて反復的に候補を絞り込む。
• 距離情報への完全なアクセスが可能である場合に最適な理論的性能を示す Worcs-I を設計。ターゲット分布のエントロピーの定数倍のクエリ複雑さを達成する。
• 距離情報やランク情報へのアクセスが制限された状況を想定し、バランスを保ちながらクエリコストを低減するための階層的クラスタリング手法を用いた Worcs-II を設計。
• メトリックの内因的次元に基づくボールカバー技術を採用。ボールの半径をパラメータ α でスケーリングし、細かさを制御する。
• バージョンスペースを維持する再帰的探索戦略を採用。不確実性を最も効果的に削減できるクエリペアを選択し、信頼度のしきい値に基づく適応的選択を行う。

実験結果

リサーチクエスチョン

• RQ1 既存の強いオラクルやノイズの多いオラクルモデルとは異なり、ユーザーの不確実性をより現実的にモデル化する方法は何か？
• RQ2 不確実な場合に応答を避ける弱いオラクルが適用される状況下で、ターゲットオブジェクトを特定するために必要な比較回数の理論的最小値は何か？
• RQ3 この弱いオラクルモデル下で、ターゲット分布の情報理論的エントロピーに近いクエリ複雑さを達成するアルゴリズムを設計できるか？
• RQ4 実世界の応用において距離情報やランク情報が部分的にしか得られない状況では、アルゴリズムの性能はどのように変化するか？
• RQ5 データセットサイズ、信頼度パラメータ α、需要分布のパワー則指数の変化に伴い、アルゴリズムの性能はどのようにスケーリングするか？

主な発見

• Worcs-I はターゲット分布のエントロピーの定数倍のクエリ複雑さを達成し、強力な理論的保証を提供する。
• Worcs-II は実際の応用において、距離情報やランク情報へのアクセスが制限されていても Worcs-I と同等の性能を示し、より現実的な状況に適用可能である。
• MovieLens や Wine、Music といった実データセット上で、Worcs-II-Weak および Worcs-II-Rank はベースラインよりも顕著に低いクエリ複雑さを達成しており、それぞれ MovieLens で平均 9.79 及び 10.79 クエリを要する。
• Worcs-II-Rank および Worcs-II-Weak のクエリ複雑さは、データセットサイズ N に対して概ね O(√N) のスケーリングを示し、良好なスケーラビリティを示している。
• アルゴリズムは需要分布のパワー則指数の変化に対して頑健であり、さまざまなデータアクセスパターンにおいて一貫した性能を示す。
• Worcs-II-Weak の計算コストはランダム選択と比較してわずかに高いにとどまり、適応的クエリ選択のコストが非常に低いことを示している。