[論文レビュー] Thinking Globally, Acting Locally: Distantly Supervised Global-to-Local Knowledge Selection for Background Based Conversation

Pengjie Ren, Zhumin Chen+3 more|arXiv (Cornell University)|Aug 26, 2019

Topic Modeling参考文献 44被引用数 7

ひとこと要約

本稿では、背景ベース会話における応答生成を向上させるために、まずトピック遷移ベクトルを用いてグローバルに関連する知識断片を特定し、その後ローカルなトークンレベル選択を誘導する、グローバル・トゥ・ローカル・ナレッジ・セレクション（GLKS）機構を提案する。この手法は、追加のアノテーションを必要とせず、遠隔教師あり学習を用いてグローバルモジュールを訓練する。その結果、最先端のモデルと比較して自動評価および人的評価の両方の指標が顕著に向上した。

ABSTRACT

Background Based Conversations (BBCs) have been introduced to help conversational systems avoid generating overly generic responses. In a BBC, the conversation is grounded in a knowledge source. A key challenge in BBCs is Knowledge Selection (KS): given a conversational context, try to find the appropriate background knowledge (a text fragment containing related facts or comments, etc.) based on which to generate the next response. Previous work addresses KS by employing attention and/or pointer mechanisms. These mechanisms use a local perspective, i.e., they select a token at a time based solely on the current decoding state. We argue for the adoption of a global perspective, i.e., pre-selecting some text fragments from the background knowledge that could help determine the topic of the next response. We enhance KS in BBCs by introducing a Global-to-Local Knowledge Selection (GLKS) mechanism. Given a conversational context and background knowledge, we first learn a topic transition vector to encode the most likely text fragments to be used in the next response, which is then used to guide the local KS at each decoding timestamp. In order to effectively learn the topic transition vector, we propose a distantly supervised learning schema. Experimental results show that the GLKS model significantly outperforms state-of-the-art methods in terms of both automatic and human evaluation. More importantly, GLKS achieves this without requiring any extra annotations, which demonstrates its high degree of scalability.

研究の動機と目的

• 背景ベース会話システムにおけるローカル知識選択の限界、すなわちモデルがグローバルな文脈を考慮せずに逐次的にトークンを選択するという点を解決すること。
• 次回の応答に適した背景断片を事前に特定するグローバルな視点を導入することで、知識選択（KS）を改善すること。
• 手動アノテーションを必要とせず、スケーラブルな訓練手法を開発すること。
• グローバルなガイダンスとローカルデコードを組み合わせることで、過度に局所的または一貫性のない知識選択による誤りを低減すること。

提案手法

• GLKSフレームワークは、次回の応答に最も関連する背景断片を表すトピック遷移ベクトルを学習するグローバル知識選択（GKS）モジュールで構成される。
• トピック遷移ベクトルは、各デコードステップでローカル知識選択（LKS）モジュールを誘導し、一貫性と正確性を向上させる。
• 遠隔教師あり学習スキームを提案し、正解応答と背景知識との間のJaccard類似度を弱い信号として用いてGKSモジュールを訓練する。
• モデルは、遠隔教師あり信号と最大尤度推定（MLE）損失の線形結合を用いて、エンド・トゥ・エンドに訓練される。
• GKSモジュールは生成ヘッドとは独立して最適化され、ローカルデコードの前にグローバルな文脈を学習できる。
• 最終的なモデルは、グローバルおよびローカル知識選択をエンド・トゥ・エンド微分可能に統合し、共同最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 グローバル知識選択メカニズムは、背景ベース会話システムにおける知識選択の正確性と一貫性を向上させることができるか？
• RQ2 高価な手動アノテーションを必要とせずに、効果的にグローバルな視点を学習する方法は何か？
• RQ3 グローバルガイダンスとローカルデコードを組み合わせることで、短視眼的で逐次的なトークン選択に起因する誤りは低減されるか？
• RQ4 Jaccard類似度を用いた遠隔教師あり学習は、グローバル知識選択モジュールの性能をどの程度向上させるか？

主な発見

• GLKSモデルは、自動評価および人的評価の両方の指標において、最先端の手法を顕著に上回り、優れた知識選択と応答品質を示した。
• トピック遷移ベクトルのm=4が最良のパフォーマンスを達成しており、この設定が関連する知識断片を効果的に識別できていることを示している。
• 可視化の結果、GLKSはデコードの初期段階で不適切または一貫性のない知識断片を選択するのを回避していることが明らかになった。
• 遠隔教師あり学習スキームにより、追加のアノテーションを必要とせずグローバルモジュールの有効な訓練が可能となり、スケーラビリティが向上した。
• 事例研究により、GLKSはGTTP、RefNet、LKSと比較して、より文脈的に適切で自然な応答を生成することが確認された。これらのモデルは、しばしば関連性が低いか矛盾する知識を選択していた。