[论文解读] Active Imitation Learning via Reduction to I.I.D. Active Learning

Kshitij Judah, Alan Fern+1 more|Uncertainty in Artificial Intelligence|Oct 16, 2012

Machine Learning and Algorithms参考文献 24被引用 24

一句话总结

本文提出了一种新颖的主动模仿学习框架，将问题简化为独立同分布（i.i.d.）主动学习，显著降低了专家查询成本。通过基于不确定性和过往交互结果战略性地选择专家查询的状态，该方法在标签复杂度上优于被动模仿学习，且在四个领域中均通过实证验证，性能优于基线方法。

ABSTRACT

In standard passive imitation learning, the goal is to learn a target policy by passively observing full execution trajectories of it. Unfortunately, generating such trajectories can require substantial expert effort and be impractical in some cases. In this paper, we consider active imitation learning with the goal of reducing this effort by querying the expert about the desired action at individual states, which are selected based on answers to past queries and the learner's interactions with an environment simulator. We introduce a new approach based on reducing active imitation learning to i.i.d. active learning, which can leverage progress in the i.i.d. setting. Our first contribution, is to analyze reductions for both non-stationary and stationary policies, showing that the label complexity (number of queries) of active imitation learning can be substantially less than passive learning. Our second contribution, is to introduce a practical algorithm inspired by the reductions, which is shown to be highly effective in four test domains compared to a number of alternatives.

研究动机与目标

• 通过最小化学习策略所需的查询次数，减少模仿学习中专家所需付出的努力。
• 解决被动模仿学习中收集完整专家轨迹所带来的高成本问题。
• 开发一种实用算法，利用i.i.d.主动学习的最新进展应用于主动模仿学习。
• 证明主动模仿学习可在显著减少专家查询次数的前提下，实现相当或更优的性能。
• 分析在平稳与非平稳策略下，主动模仿学习的理论标签复杂度。

提出的方法

• 通过将每个状态-动作对视为独立实例，将主动模仿学习问题简化为i.i.d.主动学习，从而可应用成熟的不确定性采样与查询策略。
• 算法基于学习者当前策略及与模拟器的交互历史，估计不确定性，选择用于专家查询的状态。
• 采用一种查询策略，优先选择学习者预测动作分布最不确定的状态，以最大化信息增益。
• 利用模拟器使智能体能够与环境交互，并在专家查询之间迭代优化策略。
• 理论分析表明，无论在平稳还是非平稳策略下，主动模仿学习的标签复杂度均显著低于被动模仿学习。
• 基于该简化方法设计了一种实用算法，整合了不确定性采样与主动查询选择，以最小化专家干预。

实验结果

研究问题

• RQ1 与被动模仿学习相比，主动模仿学习是否能减少所需的专家查询次数？
• RQ2 在平稳与非平稳策略下，主动模仿学习的标签复杂度与被动学习相比如何？
• RQ3 将主动模仿学习简化为i.i.d.主动学习是否能产生实用且高效的算法？
• RQ4 查询策略设计对主动模仿学习中性能与查询效率有何影响？
• RQ5 基于不确定性的查询选择与模拟器交互如何提升策略学习的样本效率？

主要发现

• 理论分析表明，主动模仿学习的标签复杂度显著低于被动模仿学习，尤其在非平稳策略下更为明显。
• 所提出的算法在四个测试领域中，显著减少了实现高性能策略所需的专家查询次数。
• 实证结果表明，该方法在样本效率与最终策略性能方面均优于多个基线方法。
• 简化为i.i.d.主动学习使成熟查询策略得以应用，提升了方法的实用性和有效性。
• 该方法在极少专家干预下实现了优异性能，验证了主动模仿学习在真实场景中的可行性。
• 该框架能有效处理平稳与非平稳策略，理论保证支持其高效性。