[论文解读] Machine Teaching of Active Sequential Learners

Tomi Peltola, Mustafa Mert Çelikok+2 more|arXiv (Cornell University)|Sep 8, 2018

Advanced Bandit Algorithms Research被引用 12

一句话总结

本文将机器教学应用于主动顺序学习者（如多臂赌博机）的形式化，将其建模为马尔可夫决策过程，其中教师规划对查询的响应，从而提升学习效率。实验表明，教师的规划行为以及学习者对教师意图的建模，均能显著提升模拟环境和用户研究中的学习表现，证明了在交互式AI系统中递归心智理论的价值。

ABSTRACT

Machine teaching addresses the problem of finding the best training data that can guide a learning algorithm to a target model with minimal effort. In conventional settings, a teacher provides data that are consistent with the true data distribution. However, for sequential learners which actively choose their queries, such as multi-armed bandits and active learners, the teacher can only provide responses to the learner's queries, not design the full data. In this setting, consistent teachers can be sub-optimal for finite horizons. We formulate this sequential teaching problem, which current techniques in machine teaching do not address, as a Markov decision process, with the dynamics nesting a model of the learner and the actions being the teacher's responses. Furthermore, we address the complementary problem of learning from a teacher that plans: to recognise the teaching intent of the responses, the learner is endowed with a model of the teacher. We test the formulation with multi-armed bandit learners in simulated experiments and a user study. The results show that learning is improved by (i) planning teaching and (ii) the learner having a model of the teacher. The approach gives tools to taking into account strategic (planning) behaviour of users of interactive intelligent systems, such as recommendation engines, by considering them as boundedly optimal teachers.

研究动机与目标

• 填补现有研究中针对逐步查询教师而非接收批量数据的主动顺序学习者在机器教学方面的空白。
• 将教师建模为战略规划者，根据查询提供最优响应，而非仅提供符合固定分布的数据。
• 使学习者能够通过将教师建模为有界最优规划者，识别教师的教学意图。
• 在真实世界数据集的模拟环境和包含10名参与者的用户研究中，对方法进行实证验证。

提出的方法

• 将教师响应选择建模为马尔可夫决策过程（MDP），其中动作为对学习者查询的响应，状态编码学习者的信念。
• 将教师建模为具有温度参数的有界理性规划者，通过优化响应高效引导学习者逼近目标模型。
• 为学习者配备教师的概率模型，以推断教学意图，从而实现从响应中进行逆向强化学习。
• 使用贝叶斯伯努利多臂赌博机并引入臂之间的依赖关系，以建模学习者信念更新过程。
• 采用嵌套推理结构：学习者建模一个也建模无教学意识学习者的教师，从而实现递归心智理论推理。
• 通过在真实世界数据集（Word、Wine、Leaf）上的模拟实验以及使用15个问题交互任务的用户研究，对框架进行验证。

实验结果

研究问题

• RQ1 机器教学能否有效扩展至逐步查询教师的主动顺序学习者，而非仅接收批量数据？
• RQ2 与非规划或一致教学相比，教师在响应选择中进行规划如何提升学习效率？
• RQ3 能够建模教师战略行为的学习者是否能比朴素学习者更快、更准确地学习？
• RQ4 在交互式环境中，将教师建模为有界最优规划者在多大程度上能提升学习性能？
• RQ5 教师规划与学习者对教师的建模相结合，是否能在真实的人机交互中带来可测量的性能提升？

主要发现

• 用户研究表明，在12轮问答后，采用混合模型（即学习者建模教师）的累积奖励显著高于朴素模型（p < 0.05）。
• 在模拟实验中，规划型教师的表现优于非规划型教师，当教师严重次优时（如β = 5或10），性能出现下降。
• 该方法在多个数据集（包括Word、Wine Quality和Leaf）中均提升了学习效率，表现为累积奖励持续增加且收敛速度更快。
• 在混合模型中采用一跳规划时域（T=1）的模型，性能优于朴素模型，证明了建模教师意图的价值。
• 复制实验验证了在不同相关性特征分布和臂数量（如500个臂）下的鲁棒性，表明所提框架能持续带来性能提升。