[论文解读] How To Grade a Test Without Knowing the Answers --- A Bayesian Graphical Model for Adaptive Crowdsourcing and Aptitude Testing

Yoram Bachrach, Thore Graepel+2 more|arXiv (Cornell University)|Jun 27, 2012

Machine Learning and Algorithms参考文献 22被引用 113

一句话总结

本文提出了一种贝叶斯图模型，可在无答案键先验知识的情况下，联合估计能力测试与众包中的问题难度、参与者能力及正确答案。通过主动学习最小化模型期望熵，该方法自适应地选择问题，与静态测试相比，将所需问题数量减少高达30%，同时保持准确性。

ABSTRACT

We propose a new probabilistic graphical model that jointly models the difficulties of questions, the abilities of participants and the correct answers to questions in aptitude testing and crowdsourcing settings. We devise an active learning/adaptive testing scheme based on a greedy minimization of expected model entropy, which allows a more efficient resource allocation by dynamically choosing the next question to be asked based on the previous responses. We present experimental results that confirm the ability of our model to infer the required parameters and demonstrate that the adaptive testing scheme requires fewer questions to obtain the same accuracy as a static test scenario.

研究动机与目标

• 开发一种概率模型，以在缺乏真实答案键的情况下，联合推断问题难度、参与者能力和正确答案。
• 设计一种自适应测试框架，根据先前回答动态选择下一个问题，以优化信息增益。
• 通过最小化所需问题数量，提升众包和能力测试中的资源效率。
• 验证模型推断潜在参数的能力，并在准确性和效率方面优于静态测试。

提出的方法

• 该模型使用贝叶斯图结构表示问题难度、参与者能力和正确答案之间的依赖关系。
• 其在潜在变量（问题难度、参与者能力、答案正确性）上采用联合概率分布。
• 自适应选择策略通过贪婪最小化期望模型熵，选择能最大化信息增益的下一个问题。
• 在每次响应后，使用贝叶斯推断更新能力与难度的后验分布。
• 该方法通过同时对参与者和问题的不确定性进行建模，支持众包和传统能力测试。
• 该框架使用真实世界数据进行训练与评估，推断通过变分近似或吉布斯采样完成。

实验结果

研究问题

• RQ1 贝叶斯图模型是否能在无答案键访问的情况下，联合推断问题难度、参与者能力和正确答案？
• RQ2 基于期望熵减少的自适应问题选择是否相比静态测试设计能提升估计效率？
• RQ3 与固定问题序列相比，使用自适应选择可减少多少问题数量以达到相同准确度？
• RQ4 该模型在真实世界众包环境中，对参与者能力和问题难度的估计准确度能达到何种程度？

主要发现

• 即使在未知答案键的情况下，该模型仍能以高准确度推断问题难度、参与者能力和正确答案。
• 与静态测试相比，自适应测试将所需问题数量减少了高达30%，同时保持了相当的准确性。
• 期望熵最小化策略促进了更快收敛，并更高效地学习潜在参数。
• 该模型在多种数据分布和参与者可靠性水平下均表现出稳健性能。