[論文レビュー] Robust Conversational AI with Grounded Text Generation

Jianfeng Gao, Baolin Peng+5 more|arXiv (Cornell University)|Sep 7, 2020

Topic Modeling参考文献 81被引用数 15

ひとこと要約

この論文は、大規模な事前学習されたトランスフォーマーと記号的知識モジュールを組み合わせることで、頑健でスケーラブルなタスク指向対話システムを構築するハイブリッドグラウンデッドテキスト生成（GTG）モデルを提案する。ニューラル生成と構造的知識推論、信念状態追跡を統合することで、GTGは信頼性が高く、解釈可能で制御可能なタスク完了を達成し、ベンチマーク評価およびインタラクティブな設定の両方で、エンドツーエンドのニューラルモデルを上回る性能を発揮する。

ABSTRACT

This article presents a hybrid approach based on a Grounded Text Generation (GTG) model to building robust task bots at scale. GTG is a hybrid model which uses a large-scale Transformer neural network as its backbone, combined with symbol-manipulation modules for knowledge base inference and prior knowledge encoding, to generate responses grounded in dialog belief state and real-world knowledge for task completion. GTG is pre-trained on large amounts of raw text and human conversational data, and can be fine-tuned to complete a wide range of tasks. The hybrid approach and its variants are being developed simultaneously by multiple research teams. The primary results reported on task-oriented dialog benchmarks are very promising, demonstrating the big potential of this approach. This article provides an overview of this progress and discusses related methods and technologies that can be incorporated for building robust conversational AI systems.

研究の動機と目的

• 手作業で作成されたルールや完全にニューラルなエンドツーエンドモデルに依存する既存のタスク指向対話システムにおける頑健性とスケーラビリティの欠如に対処すること。
• タスクボットが対話信念状態と現実世界の知識に基づいて応答を生成できるようにし、解釈可能性と信頼性を確保すること。
• 継続的学習、知識蒸留、ゼロショット一般化をサポートするスケーラブルなフレームワークを構築すること。
• タスクボットにとどまらず、個性、感情知能、社会的根拠を必要とするソーシャルボットの構築へとこのアプローチを拡張すること。

提案手法

• GTGモデルは、信念追跡、アクション選択、応答生成の各モジュールパイプラインで共有パラメータを持つマルチレイヤーのトランスフォーマーをバックボーンとして使用する。
• 記号的モジュールを統合して知識ベース推論および共通知識とビジネスルールのエンコードを実現し、現実世界の事実に基づいたグラウンディングを保証する。
• モデルは3段階の事前学習を経る：(1) テキストのラベルなしデータにおける言語モデリング、(2) 異種の対話データにおけるタスク完了、(3) アノテート済み対話データにおけるタスク固有のファインチューニング。
• 人間が参加する継続的学習を支援する統合型マシンティーチングUIを導入し、モデルの誤りの反復的是正と知識ベースの更新を可能にする。
• モデルベース強化学習（例：DDQエージェント）を活用して、内部環境モデルと報酬関数を介して、環境の変化への計画的対応と適応を可能にする。
• タスクに依存しない知識蒸留を適用し、リソース制約のあるデバイスへのデプロイを可能にするためにモデルサイズを削減する。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドニューラル記号アーキテクチャは、タスク指向対話において、純粋なニューラルエンドツーエンドモデルよりも頑健性と信頼性に優れているか？
• RQ2 大規模な事前学習言語モデルを、対話信念状態と外部知識ベースに効果的にグラウンディングさせ、タスク完了に活用するにはどうすればよいか？
• RQ3 GTGフレームワークは、動的で現実世界の環境において、継続的学習と適応をどの程度サポートできるか？
• RQ4 GTGモデルは、既知の対話スキルの新しい組み合わせに対して一般化可能であり、複雑なタスクにおけるゼロショット一般化を可能にするか？
• RQ5 対話的で社会的に根拠のある学習を通じて、一貫性のある個性と感情知能を持つソーシャルボットをどのように構築できるか？

主な発見

• GTGモデルはタスク指向対話ベンチマークで優れた性能を示し、エンドツーエンドのニューラルモデルと比較して、信頼性と制御性の面で顕著な向上を示した。
• インタラクティブな評価により、GTGが生成する応答は、純粋なニューラルモデルの応答よりも解釈可能でタスクに適合していることが確認された。
• ハイブリッドアーキテクチャにより、記号的モジュールによる効果的な知識の統合が可能となり、幻覚の低減と現実世界の事実へのより良いグラウンディングが実現された。
• 人間が参加する継続的学習インタフェースを通じた学習により、生産環境での反復的モデル改善と知識ベースの更新が可能になった。
• 知識蒸留技術により、性能の著しい低下を伴わずにモデルサイズを大幅に削減でき、リソース制約のあるデバイスへのデプロイが可能になった。
• モデルベース強化学習（例：DDQエージェント）により、内部シミュレーションと報酬に基づく最適化を通じて、環境変化への適応的計画と迅速な応答が可能になった。