[論文レビュー] How To Grade a Test Without Knowing the Answers --- A Bayesian Graphical Model for Adaptive Crowdsourcing and Aptitude Testing

Yoram Bachrach, Thore Graepel+2 more|arXiv (Cornell University)|Jun 27, 2012

Machine Learning and Algorithms参考文献 22被引用数 113

ひとこと要約

本稿では、正解キーの事前知識がなくても、適性試験およびクラウドソーシングにおける問題の難易度、受験者の能力、正解を同時に推定するベイジアングラフィカルモデルを提案する。期待モデルエントロピーを最小化するアクティブラーニングを用いることで、質問を段階的に選択し、静的テストと比較して正確性を維持しながら必要な質問数を最大30％削減する。

ABSTRACT

We propose a new probabilistic graphical model that jointly models the difficulties of questions, the abilities of participants and the correct answers to questions in aptitude testing and crowdsourcing settings. We devise an active learning/adaptive testing scheme based on a greedy minimization of expected model entropy, which allows a more efficient resource allocation by dynamically choosing the next question to be asked based on the previous responses. We present experimental results that confirm the ability of our model to infer the required parameters and demonstrate that the adaptive testing scheme requires fewer questions to obtain the same accuracy as a static test scenario.

研究の動機と目的

• 正解キーの真の値が入手できない状況下で、質問の難易度、受験者の能力、正解を同時に確率的モデルで推論すること。
• 過去の回答に基づいて次の質問を動的に選択することで情報量を最適化する適応的テストフレームワークの設計。
• 質問数を最小限に抑えることで、クラウドソーシングおよび適性試験におけるリソース効率を向上させること。
• モデルが潜在パラメータを推定できること、および静的テストと比較して正確性と効率性に優れていることの検証。

提案手法

• モデルは、質問の難易度、受験者の能力、正解の正しさの間の依存関係を表現するベイジアングラフィカル構造を用いる。
• 潜在変数（質問の難易度、受験者の能力、回答の正誤）の同時確率分布を採用する。
• 次の質問を最大限の情報量をもたらすように選択するための適応的選択戦略として、期待モデルエントロピーの貪欲な最小化を採用する。
• 各回答の後、ベイジアン推論を用いて能力および難易度の事後分布を更新する。
• 受験者と質問の両方の不確実性をモデル化することで、クラウドソーシングおよび従来の適性試験の両方をサポートする。
• 実世界のデータを用いて訓練および評価し、推論には変分近似またはギブスサンプリングを用いる。

実験結果

リサーチクエスチョン

• RQ1 正解キーが入手できない状況下でも、ベイジアングラフィカルモデルが質問の難易度、受験者の能力、正解を同時に推論できるか？
• RQ2 期待エントロピー低減に基づく適応的質問選択は、静的テスト設計と比較して推論の効率性を向上させるか？
• RQ3 適応的選択を用いる場合、固定された質問順序と比較して、同じ正確性を達成するために何問もしくは何パーセント少ない質問で済むか？
• RQ4 本モデルは、実世界のクラウドソーシング環境において、受験者の能力および質問の難易度をどれほど正確に推定できるか？

主な発見

• 正解キーが不明な状況下でも、質問の難易度、受験者の能力、正解を高い正確性で推論できた。
• 適応的テストにより、静的テストと比較して必要な質問数を最大30％削減しながら同等の正確性を維持した。
• 期待エントロピー最小化戦略により、潜在パラメータの学習がより高速に収束し、より効率的になった。
• 本モデルは、多様なデータ分布および受験者の信頼性レベルの下でも、強固な性能を示した。