[論文レビュー] A Cost-Effective Framework for Preference Elicitation and Aggregation

Zhibing Zhao, Haoming Li+5 more|arXiv (Cornell University)|May 14, 2018

Mobile Crowdsensing and Crowdsourcing参考文献 25被引用数 14

ひとこと要約

本稿では、特徴付きのPlackett-Luceモデルにおける好みの特定と集約のための費用対効果に優れたフレームワークを提案する。反復的でコストに配慮した質問選択を用いて、単位コストあたりの情報量の増加を最大化する。最小対比較確信度（MPC）情報基準を導入し、予算制約下でより少ない質問数で、より低い全 variation 距離を達成することで、ランダムな問い合わせを上回る。

ABSTRACT

We propose a cost-effective framework for preference elicitation and aggregation under the Plackett-Luce model with features. Given a budget, our framework iteratively computes the most cost-effective elicitation questions in order to help the agents make a better group decision. We illustrate the viability of the framework with experiments on Amazon Mechanical Turk, which we use to estimate the cost of answering different types of elicitation questions. We compare the prediction accuracy of our framework when adopting various information criteria that evaluate the expected information gain from a question. Our experiments show carefully designed information criteria are much more efficient, i.e., they arrive at the correct answer using fewer queries, than randomly asking questions given the budget constraint.

研究の動機と目的

• スケールの大きさにより完全な好みの特定が非現実的である場合を含め、限られたリソース下でエージェントからの好みを効率的に得る課題に対処すること。
• ランダム化投票ルール、順位付けモデル、情報基準を統合する柔軟なフレームワークを構築すること。
• 特徴付きのPlackett-Luceモデルを用いて非決定的好みをモデル化し、確率的勝者分布を可能にする。
• 最も費用対効果の良い特定質問を選択するための情報基準を評価・比較すること。
• Amazon Mechanical Turkを用いた実験を通じて、実世界の質問コストを推定し、フレームワークを実証的に検証すること。

提案手法

• フレームワークは反復的プロセスを用い、各ステップで情報基準に基づき、単位コストあたりの期待される情報量の増加を測る。
• エージェントの好みは、代替案の確率的スコアリングを可能にする特徴付きのPlackett-Luceモデルでモデル化される。
• 各応答の後でモデルパラメータの事後分布が更新され、次の反復の事前分布として使用される。
• ランダム化投票ルールが勝者分布の計算に用いられ、理論的保証により、勝者確率がエージェント全体の合計期待スコアに比例することが示されている。
• 最小対比較確信度（MPC）基準を提案し、最も確信の薄い対比較の改善を最大化することで、先行研究を拡張する。
• 情報基準（D-最適性、E-最適性、MPC、ランダム）は、合成マージナル尤度による事後分布の漸近的多変量正規近似を用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 限られたリソース下で、予測精度を維持しつつ、質問数を最小限に抑えるために、最も費用対効果に優れた特定質問をどのように選択できるか？
• RQ2 予算制約下で、MPC、D-最適性、E-最適性といった異なる情報基準は、質問効率と正確性においてどのように比較できるか？
• RQ3 グループ全体の傾向を用いて主要なグループの好みを推定することで、どれほど特定コストを削減しつつ正確性を維持できるか？
• RQ4 提案されたフレームワークは、Plackett-Luceモデル下で確率的投票ルールを用いて、勝者分布を効果的に推定できるか？
• RQ5 例えば対比較、上位選択、完全順位付けといった異なる質問タイプのコストは、好みの特定全体の効率にどのように影響するか？

主な発見

• 確率的プララティズムおよびボーダルールの両方において、MPC基準は予算 $0.85 の下でランダム特定に比べ15%低い全 variation 距離を達成した。
• 全 variation 距離を 0.064 に抑えるために、MPCは確率的プララティズムでは20%、確率的ボーダルールでは23.5%のコストをランダム特定より削減した。
• D-最適性は一貫して完全順位付けを最も費用対効果に優れた質問として選択したが、MPCは初期段階で対比較よりも完全順位付けを好んだ。
• E-最適性はMPCと類似した質問選択パターンを示したが、すべての非ランダム基準は、低コストであるにもかかわらず「上位選択」質問（k=1,l=10）を避ける傾向を示した。
• フレームワークは、Amazon Mechanical Turkからの実世界のコスト推定を用いて実用性を示し、高コストであるが高情報量を提供する完全順位付けが有効であることがわかった。
• 各反復における事後パラメータ推定が正確な勝者分布の計算を可能にした。これにより、フレームワークにおけるランダム化投票ルールの使用が正当化された。