[論文レビュー] Learning to Coordinate Multiple Reinforcement Learning Agents for Diverse Query Reformulation

Rodrigo Nogueira, Jannis Bulian+1 more|arXiv (Cornell University)|Sep 27, 2018

Data Stream Mining Techniques参考文献 24被引用数 8

ひとこと要約

本稿では、複数の専門的なサブエージェントが、互いに重複のないデータパーティション上で訓練され、ドキュメント検索および質問応答のための多様なクエリ再定式化を生成する階層的強化学習フレームワークを提案する。メタエージェント（アグレゲーター）は、学習された重み付き投票によりサブエージェントの出力を統合し、戦略の多様性が向上することで、トレーニングが高速化され、一般化性能が向上し、アンサンブルベースラインを上回る性能を達成する。

ABSTRACT

We propose a method to efficiently learn diverse strategies in reinforcement learning for query reformulation in the tasks of document retrieval and question answering. In the proposed framework an agent consists of multiple specialized sub-agents and a meta-agent that learns to aggregate the answers from sub-agents to produce a final answer. Sub-agents are trained on disjoint partitions of the training data, while the meta-agent is trained on the full training set. Our method makes learning faster, because it is highly parallelizable, and has better generalization performance than strong baselines, such as an ensemble of agents trained on the full data. We show that the improved performance is due to the increased diversity of reformulation strategies.

研究の動機と目的

• クエリ再定式化のための強化学習における方策の多様性と一般化性能を向上させること。
• サブエージェントを互いに重複のないデータパーティションに分離することで、より高速で並列性の高いトレーニングを可能にすること。
• 全データセット上でトレーニングされた標準的なアンサンブル手法を上回ること。
• データパーティショニングにおける意味的類似性がパフォーマンスに与える影響（向上または低下）を調査すること。
• 再定式化戦略の多様性がモデルパフォーマンスの向上と相関していることを検証すること。

提案手法

• フレームワークは、各サブエージェントが互いに重複のないトレーニングデータパーティション上で訓練されることで、方策の特化を促進する。
• メタエージェント（アグレゲーター）は、予測された報酬に基づく重み付き多数決投票方式を用いて、サブエージェントの出力を統合する。
• サブエージェントは勾配や重みの共有なしに独立して動作するため、高い並列性と低コストの通信を実現する。
• サブエージェントとアグレゲーター間では、スカラーベースの報酬と短い文字列（クエリ、再定式化、回答）のみを交換する。
• アグレゲーターは全トレーニングセットで訓練されるため、あらゆる入力タイプに一般化できる。
• 従来のエキスパートの混合手法とは異なり、大規模なパrameterの交換を避けることで、通信のボトル neck を軽減する。

実験結果

リサーチクエスチョン

• RQ1 互いに重複のないデータパーティション上で複数のサブエージェントをトレーニングすることで、より多様かつ効果的なクエリ再定式化戦略が得られるか？
• RQ2 この階層的アプローチは、全データセット上でトレーニングされた単一エージェントやアンサンブルと比較して、より優れた一般化性能を達成できるか？
• RQ3 ランダム分割と意味的に類似した分割の両方を用いた場合、システムのパフォーマンスはどのように変化するか？
• RQ4 パフォーマンス向上の主な要因が、戦略の多様性に起因している程度はどの程度か？
• RQ5 この手法の通信効率は、実世界のNLPシステムにおけるスケーラブルな展開を支えるのに十分か？

主な発見

• 提案手法は、ドキュメント検索および質問応答タスクの両方で、全データセット上でトレーニングされた強力なアンサンブルベースラインを上回るパフォーマンスを達成した。
• パフォーマンスの向上は、サブエージェントが生成するクエリ再定式化戦略の多様性と強く相関していた。
• A3C や非同期SGDのような標準的な分散強化学習アルゴリズムと比較して、トレーニングがより高速かつ並列性に優れている。
• 驚くべきことに、データを意味的に類似したグループに分割した場合、ランダム分割よりもパフォーマンスが悪化した。これは、意味的類似性が方策の多様性を低下させる可能性を示唆している。
• 通信のオーバーヘッドは最小限に抑えられており、報酬と短い文字列のみを交換するため、出力ベクトルを交換する手法と比較してスケーラブルで効率的である。
• メタエージェントが多様なサブエージェントの出力を重み付き投票で統合できる能力のおかげで、よりロバストで正確な最終予測が得られた。