[論文レビュー] Dynamic Dialogue Policy for Continual Reinforcement Learning

Christian Geishauser, Carel van Niekerk+5 more|arXiv (Cornell University)|Apr 12, 2022

Speech and dialogue systems被引用数 9

ひとこと要約

本論文は、対話ポリシーの継続的強化学習（RL）のための最初のフレームワークを紹介し、パラメータ数を増やさずに新しい知識をシームレスに統合できる、新しいアーキテクチャであるダイナミック・ダイアログ・ポリシー・トランスフォーマー（DDPT）を提案する。DDPTは記述埋め込みとトランスフォーマー型設計を活用し、未学習ドメインに対しても強力なゼロショット性能を達成するとともに、深刻な忘却を防ぎ、シミュレーションおよび人間評価においてベースラインを上回る性能を発揮する。

ABSTRACT

Continual learning is one of the key components of human learning and a necessary requirement of artificial intelligence. As dialogue can potentially span infinitely many topics and tasks, a task-oriented dialogue system must have the capability to continually learn, dynamically adapting to new challenges while preserving the knowledge it already acquired. Despite the importance, continual reinforcement learning of the dialogue policy has remained largely unaddressed. The lack of a framework with training protocols, baseline models and suitable metrics, has so far hindered research in this direction. In this work we fill precisely this gap, enabling research in dialogue policy optimisation to go from static to dynamic learning. We provide a continual learning algorithm, baseline architectures and metrics for assessing continual learning models. Moreover, we propose the dynamic dialogue policy transformer (DDPT), a novel dynamic architecture that can integrate new knowledge seamlessly, is capable of handling large state spaces and obtains significant zero-shot performance when being exposed to unseen domains, without any growth in network parameter size.

研究の動機と目的

• AIシステムにおける生涯にわたる人間らしい学習を実現する上で不可欠な、対話ポリシー最適化における継続的強化学習のフレームワークの欠如に取り組むこと。
• 過去の知識を忘却せずに、新たな対話ドメインを統合できるスケーラブルでパラメータ効率の良いアーキテクチャを開発すること。
• 継続的RLにおける対話システムのための包括的なベンチマークを提供し、トレーニングプロトコル、ベースラインモデル、評価指標を含めること。
• モデルの性能をシミュレーテッド・ユーザー相互作用および実際の人間による試験を通じて検証し、実用的応用性を保証すること。

提案手法

• 対話ポリシー学習のための継続的RLフレームワークを新たに提案し、前方転送と忘却に基づくトレーニングプロトコル、ベースラインモデル、評価指標を含む。
• 新しいドメインを動的に表現する記述埋め込みを活用するトランスフォーマー型アーキテクチャであるダイナミック・ダイアログ・ポリシー・トランスフォーマー（DDPT）を導入する。
• ドメインゲート機構を採用して入力を適切なサブネットワークにルーティングし、選択的注意を可能にすることで前方転送を向上させる。
• 事前学習済み言語モデルを用いてドメイン記述を符号化することで、アーキテクチャの拡張なしに未学習ドメインへのゼロショット一般化を可能にする。
• Rolnickら（2018）の継続的RLアルゴリズムをベースラインとして採用し、最先端の継続的学習手法と公平な比較を実現する。
• 2つのユーザーサイミュレータ（TUSとルールベースのサイミュレータ）を用い、アマゾン・メカニカル・トゥーカーを活用した人間評価を通じて、耐障害性を検証する。

実験結果

リサーチクエスチョン

• RQ1 新しいドメインを学習する際、以前に学習したタスクの性能を維持または向上させながら、深刻な忘却を回避して継続的に学習できる対話ポリシーは構築可能か？
• RQ2 記述埋め込みのみを用いて、未学習ドメインに対してどの程度ゼロショット一般化が可能か？
• RQ3 多様なドメイン順序において、提案されたDDPTアーキテクチャは、前方転送、忘却、および全体の成功確率という観点で、標準ベースラインと比較してどのように差をつけるか？
• RQ4 ドメインゲート機構は、動的対話学習における前方転送と耐障害性を顕著に向上させるか？
• RQ5 提案されたフレームワークは、実世界の相互作用シナリオにおいて人間水準の性能を達成できるか？

主な発見

• DDPTは、エイジルからハードへのドメイン順序において、忘却スコア0.01、前方転送0.73を達成し、Binベースライン（0.14および0.39）を顕著に上回った。
• ミックスドメイン順序では、DDPTは忘却スコア0.03、前方転送0.57を達成し、複雑で非単調なタスクシーケンスにおいても強固な性能を示した。
• ドメインゲートを導入しない場合、DDPTの前方転送は0.43に低下し、これはゲート機構が効果的な知識転送とドメイン固有の適応に不可欠であることを示している。
• 人間評価では、DDPTとゴールドスタンダードとの間で成功確率（0.77 vs. 0.81）および評価品質に統計的に有意な差が認められず（p > 0.05）、一方でBinベースラインは顕著に劣っていた。
• エイジルからハードへの順序でDDPTは73%の前方転送を達成し、学習済みドメインの性能向上を示す強力なバックワード転送を示した。
• 大規模で拡大する状態空間を扱いながらも、パラメータ数を固定したまま維持したため、スケーラビリティとパラメータ効率が裏付けられた。