[论文解读] Learning to Coordinate Multiple Reinforcement Learning Agents for Diverse Query Reformulation

Rodrigo Nogueira, Jannis Bulian+1 more|arXiv (Cornell University)|Sep 27, 2018

Data Stream Mining Techniques参考文献 24被引用 8

一句话总结

本文提出一种分层强化学习框架，其中多个在不相交数据分区上训练的专用子智能体，分别生成多样化的查询重写结果，用于文档检索与问答任务。一个元智能体（聚合器）通过学习加权投票机制整合各子智能体的输出，由于策略多样性提升，实现了更快的训练速度、更好的泛化能力，并在性能上优于传统集成基线方法。

ABSTRACT

We propose a method to efficiently learn diverse strategies in reinforcement learning for query reformulation in the tasks of document retrieval and question answering. In the proposed framework an agent consists of multiple specialized sub-agents and a meta-agent that learns to aggregate the answers from sub-agents to produce a final answer. Sub-agents are trained on disjoint partitions of the training data, while the meta-agent is trained on the full training set. Our method makes learning faster, because it is highly parallelizable, and has better generalization performance than strong baselines, such as an ensemble of agents trained on the full data. We show that the improved performance is due to the increased diversity of reformulation strategies.

研究动机与目标

• 提升强化学习在查询重写任务中的策略多样性与泛化能力。
• 通过将子智能体解耦至不相交的数据分区，实现更快、更具并行性的训练。
• 超越在完整数据集上训练的标准化集成方法。
• 探究基于语义相似性的数据划分策略是否增强或削弱性能。
• 验证策略多样性与模型性能提升之间的相关性。

提出的方法

• 该框架使用多个子智能体，每个子智能体在训练数据的不相交分区上独立训练，以促进策略专业化。
• 一个元智能体（聚合器）通过基于预测奖励的加权多数投票机制，学习整合子智能体的输出。
• 子智能体之间独立运行，不进行梯度或参数交换，从而实现高度并行化和低通信开销。
• 仅交换标量奖励值和短字符串（查询、重写结果、答案），不交换完整输出向量。
• 聚合器在完整训练集上进行训练，使其能够泛化于所有输入类型。
• 与以往的专家混合方法相比，该方法避免大规模参数交换，从而减少通信瓶颈。

实验结果

研究问题

• RQ1 在不相交的数据分区上训练多个子智能体，是否能产生更丰富且更有效的查询重写策略？
• RQ2 该分层方法是否能实现优于在完整数据集上训练单个智能体或集成模型的泛化能力？
• RQ3 不同数据划分策略（如随机划分与语义相似性划分）对系统性能有何影响？
• RQ4 性能提升在多大程度上由策略多样性的增加所驱动？
• RQ5 该方法的通信效率是否足以支持在真实世界NLP系统中的可扩展部署？

主要发现

• 所提方法在文档检索与问答任务中，均优于在完整数据集上训练的强基线集成模型。
• 性能提升与子智能体生成的查询重写策略多样性显著相关。
• 与A3C或异步SGD等标准分布式强化学习算法相比，该方法实现了更快且更易并行化的训练。
• 出人意料的是，基于语义相似性的数据划分导致性能劣于随机划分，表明语义相似性可能抑制策略多样性。
• 通信开销极低，仅需交换奖励值和短字符串，相比交换完整输出向量的方法更具可扩展性与效率。
• 元智能体通过学习对多样化子智能体输出进行加权投票，显著提升了最终预测的鲁棒性与准确性。