[論文レビュー] Teaching Models new APIs: Domain-Agnostic Simulators for Task Oriented Dialogue

Moya Chen, Paul Crook+1 more|arXiv (Cornell University)|Oct 13, 2021

Topic Modeling参考文献 48被引用数 4

ひとこと要約

本稿では、APIの実装とユーザーメタデータのみを用いて、大規模言語モデルを用いて合成されたタスク指向対話データを生成するドメインに依存しないシミュレータを提案する。自己改善のためのブートストラップとアクティブラーニングを活用することで、ゼロショット設定で37%の誤差低減を達成し、完全に教師ありのモデルと同等の性能を10倍少ないデータで達成するが、人間の関与やドメイン特化したテンプレートは一切不要である。

ABSTRACT

We demonstrate that large language models are able to simulate Task Oriented Dialogues in novel domains, provided only with an API implementation and a list of goals. We show these simulations can formulate online, automatic metrics that correlate well with human evaluations. Furthermore, by checking for whether the User's goals are met, we can use simulation to repeatedly generate training data and improve the quality of simulations themselves. With no human intervention or domain-specific training data, our simulations bootstrap end-to-end models which achieve a 37\% error reduction in previously unseen domains. By including as few as 32 domain-specific conversations, bootstrapped models can match the performance of a fully-supervised model with $10 imes$ more data. To our knowledge, this is the first time simulations have been shown to be effective at bootstrapping models without explicitly requiring any domain-specific training data, rule-engineering, or humans-in-the-loop.

研究の動機と目的

• 人間によるアノテーションデータやルールベースのテンプレートに依存しない、スケーラブルでドメインに依存しないタスク指向対話のシミュレーションフレームワークの開発。
• ドメイン特化した監視なしに、APIの仕様とユーザーメタデータのみを用いて、対話エージェントのエンドツーエンド訓練を可能にすること。
• タスクの成功をシグナルとして用いる自己教師付きブートストラップにより、ゼロショットおよびフェイシュット設定におけるモデルの一般化性能と頑健性を向上させること。
• 対話システム開発における人間による関与評価や手動でのデータキュレーションに依存しないこと。

提案手法

• 大規模言語モデルを、ユーザーモデルおよびアシスタントモードルとして用い、APIの実装とユーザーメタデータにのみ根ざしている。
• ターンベースの対話ループを採用：ユーザーユーティリティ → アシスタントのAPIコール → APIの応答 → アシスタントの応答。正しく正しいAPIコールが生成された時点で終了する。
• タスクの成功を、会話が終了する前に正しいAPIコールが生成されたことに定義し、自動的かつオンラインでの評価を可能にする。
• 反復的ブートストラップを適用：成功した合成対話のみを用いてモデルを再訓練することで、時間経過に伴い性能を向上させる。
• アクティブラーニングを用いて、最も弱いモデル行動を同定・優先順位付けし、低性能な例に対して人間のアノテーションを用いてモデルを精緻化する。
• 生成戦略としてグリーディおよびヌクレアスデコーディングを用い、多様性と幻覚のトレードオフを分析する。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルは、APIの実装とユーザーメタデータのみを用いて、新規ドメインにおけるタスク指向対話をシミュレートできるか？
• RQ2 合成対話におけるタスク成功は、対話品質の人的評価の信頼できる代理指標として機能するか？
• RQ3 タスク成功をシグナルとして用いる自己教師付きブートストラップは、ドメイン特化した訓練データが一切ない状況でもモデル性能を向上させられるか？
• RQ4 最小限の人工アノテーション例を用いたアクティブラーニングは、完全に教師ありのモデルと比較して、どの程度性能ギャップを埋められるか？
• RQ5 生成戦略（例：グリーディ vs. ヌクレアスサンプリング）は、合成対話における言語的多様性と幻覚にどのように影響するか？

主な発見

• 提案されたシミュレータは、未観測ドメインにおいてゼロショット設定で37%の誤差低減を達成し、強力な一般化性能を示した。
• ドメイン特化した例がたった32件の条件下でも、ブートストラップされたモデルは、10倍のデータで訓練された完全に教師ありモデルと同等の性能を達成した。
• タスク成功率は人間評価と強く相関しており、対話品質の信頼できる自動的指標として機能することが示された。
• アクティブラーニングは、特にデータが少ない状況において、モデル性能を顕著に向上させた。これは、最も情報価値の高い失敗事例に焦点を当てた結果である。
• グリーディデコーディングは、言語的多様性が低く、たとえタスク成功率がほぼ完璧であっても、繰り返しのスロット埋め込みパターンを生じがちであった。
• ヌクレアスサンプリングは言語的多様性を向上させるが、幻覚を増加させる傾向にあり、多様性と事実の整合性の間にはトレードオフがあることが示された。