[論文レビュー] Hybrid-MST: A Hybrid Active Sampling Strategy for Pairwise Preference Aggregation

Jing Li, Rafał Mantiuk+3 more|arXiv (Cornell University)|Oct 20, 2018

Advanced Statistical Methods and Models参考文献 37被引用数 22

ひとこと要約

本稿では、スパースでノイズの多いペアワイズラベルから根本的なスコアを効率的に回復するためのハイブリッドアクティブサンプリング戦略であるHybrid-MSTを提案する。この戦略は、グローバル最大期待情報ゲイン（EIG）と最小全域木（MST）サンプリングを組み合わせており、ベイジアン最適化とブラッドリー＝テリー（Bradley-Terry）モデルを用い、ガウス＝エルミート台形則を用いてEIGを推定することで、バッチモードの並列ペアワイズ比較を可能にし、シミュレート済みおよび実世界のVQA/IQAデータセットにおいて、最先端の手法よりも優れたスコア集約の精度と耐性を達成する。

ABSTRACT

In this paper we present a hybrid active sampling strategy for pairwise preference aggregation, which aims at recovering the underlying rating of the test candidates from sparse and noisy pairwise labelling. Our method employs Bayesian optimization framework and Bradley-Terry model to construct the utility function, then to obtain the Expected Information Gain (EIG) of each pair. For computational efficiency, Gaussian-Hermite quadrature is used for estimation of EIG. In this work, a hybrid active sampling strategy is proposed, either using Global Maximum (GM) EIG sampling or Minimum Spanning Tree (MST) sampling in each trial, which is determined by the test budget. The proposed method has been validated on both simulated and real-world datasets, where it shows higher preference aggregation ability than the state-of-the-art methods.

研究の動機と目的

• 大規模な順序集約において、スパースでノイズの多いペアワイズラベルから正確な根本的スコアを効率的に回復する課題に対処すること。
• テスト候補の数が増加する状況でも、高い予測精度を維持しながら必要なペアワイズ比較の回数を減らすこと。
• クラウドソーシングプラットフォームで並列かつバッチモードのペアワイズ比較を可能にし、データ収集を加速すること。
• アノテーターの行動を明示的にモデル化しないで、ノイズや誤った応答に耐性を持つ計算効率の良い手法を開発すること。
• レコメンデーションシステム、IQA/VQA、オンラインゲームのプレイヤーマッチングなど、多様な応用分野における順位付けとスコア推定をサポートすること。

提案手法

• 本手法は、ペアワイズ好みをモデル化し、効用関数を推定するために、ブラッドリー＝テリー（Bradley-Terry）モデルを用いたベイジアン最適化フレームワークを採用する。
• 局所的カルバック・ライブーラー（Kullback-Leibler）ダイバージェンスとベイズの定理を用いて、各ペアの期待情報ゲイン（EIG）を計算し、計算の妥当性を確保する。
• EIGの推定を効率的に行うために、ガウス＝エルミート台形則が用いられ、計算複雑度が低減される。
• 現在のテスト予算に応じて、グローバル最大（GM）EIGサンプリングとMSTベースのサンプリングの間で動的に選択するハイブリッドサンプリング戦略が採用される。
• MSTモードでは、$n-1$ 回の並列ペアワイズ比較が可能であり、クラウドソーシングプラットフォームでのスケーラブルでバッチモードの実行を支援する。
• 本手法はアノテーター固有のノイズをモデル化しないが、MST構造のおかげで、ランダムまたは悪意のあるラベリングに対しても耐性を示す。

実験結果

リサーチクエスチョン

• RQ1 GMとMSTの両方のサンプリングを組み合わせたハイブリッドアクティブサンプリング戦略は、制限されたラベリング予算下で、順位付けとスコア集約の両面で既存手法を上回ることができるか？
• RQ2 バッチモードのペアワイズ比較を可能にする場合、提案されたHybrid-MST戦略の計算効率とスケーラビリティはどの程度か？
• RQ3 MSTベースのサンプリング構造は、ノイズや誤ったアノテーターの応答に対してどの程度耐性を示すか？
• RQ4 高ノイズと不均衡なラベリングを示す実世界のVQAおよびIQAデータセットにおいて、Hybrid-MSTはCrowd-BT や Hodge-active といった最先端手法と比べて、どの程度優れているか？
• RQ5 主な目的が順位付けの回復かスコア回復かに応じて、Hybrid-MST が Hodge-active よりもより適している状況はどのようなものか？

主な発見

• シミュレート済みデータセットでは、Hybrid-MSTは最先端の手法よりも高い順序集約の精度を達成しており、特にスコア回復において顕著である。
• 高ノイズと不均衡なラベリングを示す実世界のVQAおよびIQAデータセットにおいて、Hybrid-MSTは、Crowd-BT や Hodge-active に比べて、スコア集約（PLCCとRMSE）において一貫して優れている。
• 順位集約（ケンダールのtau）に関しては、試行回数が非常に少ない場合、Hodge-active がわずかにHybrid-MSTを上回るが、テスト予算が増加するにつれてHybrid-MSTは追いつき、それを上回る。
• MSTモードにより、$n-1$ 回の並列比較が可能となり、典型的なVQA実験（$n=100$）では、最悪ケースの逐次実行時（約1485秒）から、約17.9秒にまで合計時間が短縮される。
• Hybrid-MSTはノイズの多いラベリングに対しても強く、MST構造のおかげで、スパムアノテーターまたはランダム応答を明示的にモデル化しないままに耐性を示す。
• 本手法は計算的にも効率的であり、Crowd-BT や他の手法と比較して、著しく低い時間計算量を達成している。