[論文レビュー] Adaptive Sampling for Coarse Ranking

Sumeet Katariya, Lalit Jain+3 more|arXiv (Cornell University)|Feb 20, 2018

Game Theory and Voting Systems被引用数 6

ひとこと要約

本稿では、最小限のサンプルでアイテムの平均値に基づいてクラスタリングを行う、計算的に効率的なPACアルゴリズムであるLUCBRankを提案する。相互クラスタ分離に注目し、UCBスタイルの信頼区間を用いることで、最新の手法と比較して2–3倍の性能向上を達成する。これは、ベースラインが真のパラメトリックモデルの知識を仮定している場合でも同様に成立する。

ABSTRACT

We consider the problem of active coarse ranking, where the goal is to sort items according to their means into clusters of pre-specified sizes, by adaptively sampling from their reward distributions. This setting is useful in many social science applications involving human raters and the approximate rank of every item is desired. Approximate or coarse ranking can significantly reduce the number of ratings required in comparison to the number needed to find an exact ranking. We propose a computationally efficient PAC algorithm LUCBRank for coarse ranking, and derive an upper bound on its sample complexity. We also derive a nearly matching distribution-dependent lower bound. Experiments on synthetic as well as real-world data show that LUCBRank performs better than state-of-the-art baseline methods, even when these methods have the advantage of knowing the underlying parametric model.

研究の動機と目的

• 正確な順序付けが不実用的かつ不必要となる高ノイズ環境における完全順序付けの非効率性に対処する。
• 実数値およびペアワイズ比較フィードバックの両方の設定において、誤差許容度εおよび失敗確率δを伴うオンラインPAC粗順序付け問題を定式化する。
• 事前指定されたグループへの信頼性の高いクラスタリングを保証しつつ、サンプリングを最小限に抑える非パラメトリックで適応的なアルゴリズムを開発する。
• アルゴリズムの効率性とロバスト性を裏付けるサンプル複雑度の理論的境界を確立する。
• 実験的に、適応的サンプリングが完全順序付けとは異なり、粗順序付けにおいて顕著な性能向上をもたらすことを示す。

提案手法

• アイテムの平均値を効率的に推定するために、上位信頼区間に基づいて適応的にサンプリングするUCB型アルゴリズムであるLUCBRankを提案する。
• アイテムの平均値とクラスタ境界との距離を測るため、チェルノフ情報を利用する。この情報がサンプリング意思決定を導く。
• 不確実性が高く、クラスタリングに与える影響が最大となるクラスタ境界付近のアイテムを優先的にサンプリングする。
• Borda還元を適用して、アルゴリズムをペアワイズ比較フィードバックに拡張し、ダウイングバンドイット設定でも利用可能にする。
• 各アイテムの平均値に対する信頼区間を維持し、各サンプル後にHoeffding型の集中不等式を用いて更新する。
• アイテムの順序クラスタが信頼性を持って特定された段階で、以降のサンプリングを停止することで、不必要な評価を削減する。

実験結果

リサーチクエスチョン

• RQ1 非適応的または完全順序付け手法と比較して、適応的サンプリングは粗順序付けのための必要サンプル数を顕著に削減できるか？
• RQ2 適応的粗順序付けアルゴリズムのサンプル複雑度は、クラスタ境界からの距離および潜在的な分布パラメータにどのように依存するか？
• RQ3 アイテムの平均値が近く、正確な順序付けが不可能な高ノイズ環境において、適応的アプローチが測定可能な性能向上をもたらすか？
• RQ4 分布依存の上界と下界のサンプル複雑度はどのように比較されるか？ また、それらは提案アルゴリズムの最適性を何を示唆するか？
• RQ5 真のモデル構造を知っているパラメトリックベースラインでさえ、非パラメトリックなUCBベースのアルゴリズムがそれを上回るのか？

主な発見

• LUCBRankは、アイテムの平均値と最も近いクラスタ境界との間のチェルノフ情報に反比例するサンプル複雑度上界を達成する。
• 合成データおよび実世界のMTurkデータの両方において、最新のベースラインと比較して2–3倍の性能向上を達成する。これは、ベースラインが真のパラメトリックモデルの知識を仮定している場合でも同様に成立する。
• 適応的アプローチであるLUCBRankは、粗順序付けにおいて顕著な性能向上を示すが、高ノイズ環境および平均値が近い状況では完全順序付けではほとんど改善が得られない。
• サンプル複雑度の下界は、ほぼ一致しており、KLダイバージェンスを用いて表現されており、上界の理論的タイトさを確認する。
• LUCBRankは、均一サンプリングと比較して、クラスタ間の逆転をより効果的に低減するが、クラスタ内逆転の発生率は高くなる。これは、設計目的に合致している。
• ペアワイズ比較設定においても、LUCBRankはQuicksortやARのパラメトリック版でさえも上回り、異なるフィードバックタイプに強く適応可能であることを示す。