[論文レビュー] Deploying Lifelong Open-Domain Dialogue Learning

Kurt Shuster, Jack Urbanek+3 more|arXiv (Cornell University)|Aug 18, 2020

Topic Modeling参考文献 35被引用数 8

ひとこと要約

本論文では、自由にプレイ可能なファンタジーRPGゲーム内で、内発的動機付けを持つ人間プレイヤーとのリアルタイム対話によって言語モデルが学習を継続的に改善する、生涯にわたるオープンドメイン対話学習システムを提案する。繰り返し人間-モデル対話データを収集し、モデルを微調整・再デプロイすることで、参加度と自動評価指標の両面で顕著な向上が達成された。データ収集コストはクラウドソーシングの1/5であり、より効果的で分布に適したデータが得られた。

ABSTRACT

Much of NLP research has focused on crowdsourced static datasets and the supervised learning paradigm of training once and then evaluating test performance. As argued in de Vries et al. (2020), crowdsourced data has the issues of lack of naturalness and relevance to real-world use cases, while the static dataset paradigm does not allow for a model to learn from its experiences of using language (Silver et al., 2013). In contrast, one might hope for machine learning systems that become more useful as they interact with people. In this work, we build and deploy a role-playing game, whereby human players converse with learning agents situated in an open-domain fantasy world. We show that by training models on the conversations they have with humans in the game the models progressively improve, as measured by automatic metrics and online engagement scores. This learning is shown to be more efficient than crowdsourced data when applied to conversations with real users, as well as being far cheaper to collect.

研究の動機と目的

• オープンドメイン対話研究における静的でクラウドソーシングされたデータセットの限界を克服し、モデルが継続的に実際の人間との対話から学習できるようにすること。
• 展開済みシステムにおける生涯学習が、静的データセットを用いた従来の教師あり事前学習に比べ、モデルの品質とユーザー参加度の面で優れているかどうかを検証すること。
• 報酬ではなく内発的動機付けに基づくプレイヤーを活用することで、データ収集コストを削減するとともに、データ品質を向上させること。
• 参加度のオンライン指標（例：プレイヤー継続率）を実世界の実用性の代理指標として用い、生涯学習の有効性を評価すること。
• 特に、大規模モデルにおける事実整合性の向上と反復的になる傾向のトレードオフを含め、モデルサイズと参加度のトレードオフを調査すること。

提案手法

• 人間プレイヤーがオープンドメインかつ状況に即した対話環境で言語モデルとやり取りできる、自由にプレイ可能なファンタジーRPGゲームを展開した。
• ゲームをデータ収集メカニズムとして活用し、プレイヤーの内発的動機付けに基づいて、リアルタイムで人間-モデル対話データを収集した。
• 新規に得られた人間生成対話データと元のLIGHT MTurkデータセットの両方を用いて、繰り返しモデルを微調整・再デプロイした。
• モデル性能のリアルタイム評価指標として、特にプレイヤー継続率をオンライン参加度指標として用いた。
• クラウドソーシングで得られたデータ（LIGHT）とゲームから得られた人間生成データ（WILD）の組み合わせを用いて、検索ベースの対話モデルを訓練し、訓練ターゲットに関するアブレーションスタディを実施した。
• クラウドソーシングによる人間評価を通じて、モデルのバリエーションを比較し、エラーの種類（例：矛盾、話題外、反復）と全体的な満足度に注目した。

実験結果

リサーチクエスチョン

• RQ1 展開済みゲーム環境で実際の人間との対話による生涯対話学習が、静的データセット学習に比べてモデル性能の向上を顕著に実現できるか？
• RQ2 内発的動機付けに基づくプレイヤーから収集されたデータのコストと品質は、クラウドソーシングによるデータに比べて、モデルの向上と参加度の面でどのように差がでるか？
• RQ3 人間との対話から微調整された大規模モデルは、事実整合性とエラー低減の面でどの程度向上するのか？ また、参加度の観点から、どのようなトレードオフが生じるか？
• RQ4 過去のイテレーションのモデル生成応答を訓練ターゲットとして用いる（蒸留）ことで、人間がアノテートした応答を用いる場合と同等またはそれ以上の性能が得られるか？
• RQ5 異なるモデルアーキテクチャーやデコード戦略は、ライブデプロイ環境下で、事実整合性、多様性、プレイヤーの満足度のバランスにどのように影響するか？

主な発見

• 1文あたりのデータ収集コストは、従来のクラウドソーシングの1/5にまで低下した。収集は報酬ではなくプレイヤーの内発的動機付けによって行われた。
• ゲームから得られた人間生成データで微調整したモデルは、モデル生成応答のみで学習した場合に比べ、WILD検証セットにおけるHits@1/20で12.5%の相対的改善を示した。
• 大規模モデル（LW622M）は、小規模モデル（LW90M）と比較して、矛盾エラーを24%、話題外応答を30%削減し、事実整合性が向上した。
• 事実整合性が向上したにもかかわらず、大規模モデルは小規模モデルに比べて2.2倍も「反復的」または「退屈」と評価された。これは、品質と参加度の間のトレードオフを示している。
• モデルの改善と並行してプレイヤー継続率も上昇し、優れた対話品質がライブシステムにおけるユーザーの残留率向上に繋がることを示した。
• 実プレイヤーの対話から得られたWILDデータセットは、モデル生成応答よりも微調整に有効であり、WILD検証セットにおけるHits@1/20スコアが12.5%高い結果となった。