[論文レビュー] Alquist 3.0: Alexa Prize Bot Using Conversational Knowledge Graph

Jan Pichl, Petr Marek+4 more|arXiv (Cornell University)|Nov 6, 2020

Topic Modeling参考文献 14被引用数 7

ひとこと要約

Alquist 3.0 は、会話型知識グラフと隣接ペアベースのアーキテクチャを導入することで、オープンドメイン対話システムにおける一貫性と柔軟性を向上させた。短くモジュラーな対話ユニットを動的に連結し、ユーザーが提供した知識を知識グラフに永続化することで、応答の一貫性が向上し、遅延が低減された。NLUの遅延はバッチ処理と統合推論モデルにより204msまで短縮された。

ABSTRACT

The third version of the open-domain dialogue system Alquist developed within the Alexa Prize 2020 competition is designed to conduct coherent and engaging conversations on popular topics. The main novel contribution is the introduction of a system leveraging an innovative approach based on a conversational knowledge graph and adjacency pairs. The conversational knowledge graph allows the system to utilize knowledge expressed during the dialogue in consequent turns and across conversations. Dialogue adjacency pairs divide the conversation into small conversational structures, which can be combined and allow the system to react to a wide range of user inputs flexibly. We discuss and describe Alquist's pipeline, data acquisition and processing, dialogue manager, NLG, knowledge aggregation, and a hierarchy of adjacency pairs. We present the experimental results of the individual parts of the system.

研究の動機と目的

• 予期しないユーザー入力に対して破綻しやすい、オープンドメインソーシャルボットにおける剛性の高い対話構造の限界を解消すること。
• 会話中に表現された知識を保存・再利用することで、対話の一貫性とシステムの頑健性を向上させること。
• モデル統合とバッチ処理を用いることで、高い精度を維持しつつNLU部のシステム遅延を低減すること。
• 中央集権的なトピック切り替えモジュールに依存せずに、動的でモジュラーな対話フローを実現すること。
• テンプレートベースの応答と新生の生成モデルアプローチを組み合わせることで、より適応的で魅力的な会話体験を提供すること。

提案手法

• 会話型知識グラフを活用し、セッション間をまたいで外部知識とユーザーが提供した情報を保存・取得すること。
• 再利用可能な小さな会話ユニット（対話隣接ペア）を設計することで、柔軟でモジュラーな対話構成を可能にすること。
• モノリシックな対話オートマトンの代わりに、隣接ペアに基づくサブダイアログの動的連結メカニズムを採用すること。
• 複数のモデルを統合した計算グラフを用いたマルチモデルNLUパイプラインを実装し、並列推論を可能にし、遅延を低減すること。
• 音声仮説とセグメントのバッチ処理を実施することで、GPUの利用効率を向上させ、エンドツーエンドの応答時間を短縮すること。
• BERTベースのセグメンテーションを含む最先端のNLUモデルを統合しながら、低遅延推論を最適化すること。

実験結果

リサーチクエスチョン

• RQ1 多様で予測不能なユーザー入力に直面した場合、対話システムはどのようにして一貫性と関与を維持できるか？
• RQ2 会話型知識グラフは、オープンドメイン対話においてユーザーが提供した情報の保持と再利用をどの程度向上できるか？
• RQ3 小さなモジュラーな対話ユニット（隣接ペア）を用いることで、柔軟性と頑健性の面でモノリシックな対話構造を上回ることができるか？
• RQ4 複数のディープラーニングモデルを統合する際、低遅延のNLU推論を維持するために必要な最適化は何か？
• RQ5 テンプレートベースの応答と初期段階の生成モデルの組み合わせは、長尾対話シナリオの処理においてどの程度効果的か？

主な発見

• 会話型知識グラフは、兄弟の人数などのユーザーが提供した事実をセッション間で正しく保存・取得でき、文脈に応じた応答を可能にした。
• 隣接ペアの導入により、トピック切り替えモジュールの必要がなくなり、誤分類に起因するエラー率が2番目のバージョンで44%削減された。
• GPUアクセラレーション、入力のバッチ処理、複数モデルの統合による1つの計算グラフへの統合により、NLUの遅延が835msから204msまで短縮された。
• 本番環境のハードウェア上でもNLUの平均遅延が204msに抑えられ、500msの目標を満たし、リアルタイム対話が可能になった。
• モジュラーな設計により、ユーザーが想定された対話経路から逸脱しても、一貫性があり文脈に適した応答を生成できるようになった。
• 生成モデルの予備的実験では、テンプレートベースの応答と組み合わせることで、長尾クエリの処理に有望な兆しを示したが、まだ本番環境では利用不可である。