[論文レビュー] Self-Supervised Dialogue Learning

Jiawei Wu, Xin Wang+1 more|arXiv (Cornell University)|Jun 30, 2019

Topic Modeling参考文献 45被引用数 6

ひとこと要約

本論文では、会話の発話順序を教師信号としてモデル化することで、会話の整合性を向上させる自己教師型学習手法、不一致順序検出を提案する。サンプリングベースのネットワーク（SSN）を用い、長距離の会話依存関係を捉え、敵対的学習により会話モデルと統合することで、明示的な多様性目的を用いずに、OpenSubtitlesおよびMovie-Ticket Bookingデータセットで最先端の結果を達成した。

ABSTRACT

The sequential order of utterances is often meaningful in coherent dialogues, and the order changes of utterances could lead to low-quality and incoherent conversations. We consider the order information as a crucial supervised signal for dialogue learning, which, however, has been neglected by many previous dialogue systems. Therefore, in this paper, we introduce a self-supervised learning task, inconsistent order detection, to explicitly capture the flow of conversation in dialogues. Given a sampled utterance pair triple, the task is to predict whether it is ordered or misordered. Then we propose a sampling-based self-supervised network SSN to perform the prediction with sampled triple references from previous dialogue history. Furthermore, we design a joint learning framework where SSN can guide the dialogue systems towards more coherent and relevant dialogue learning through adversarial training. We demonstrate that the proposed methods can be applied to both open-domain and task-oriented dialogue scenarios, and achieve the new state-of-the-art performance on the OpenSubtitiles and Movie-Ticket Booking datasets.

研究の動機と目的

• ニューラル会話システムにおける不自然で単調な発話生成の問題に寄与する、会話履歴における順序の無視に起因する問題を解決すること。
• 発話の順序が、整合的な会話生成において重要だが、無視されがちな信号であることを特定すること。
• この順序信号を明示的にモデル化することで会話学習を向上させる、自己教師型タスク「整合順序検出」を提案すること。
• 長期間の会話履歴符号化における忘れやすさの問題を緩和するためのサンプリングベースのネットワーク（SSN）を設計すること。
• SSNを共同敵対的学習を介して会話学習に統合し、より整合的で多様な応答の生成を可能にすること。

提案手法

• 発話の順序を用いた自己教師型タスク「不一致順序検出」を提案し、モデルがサンプリングされた発話3つが正しく順序付けられているか、誤って順序が入れ替わっているかを予測する。
• 会話履歴からランダムに発話3つをサンプリングし、完全な履歴を近似する文脈リファレンスとして用いる、サンプリングベースの自己教師型ネットワーク（SSN）を設計する。
• 個々の発話を符号化するための双方向LSTMと、3つの発話を統合的に処理するための別の双方向LSTMを用い、最終的な分類にはマルチレイヤーパーセプトロン（MLP）を採用する。
• SSNの出力を敵対的学習のための判別信号として用い、応答生成器をガイドする代替的敵対的学習により、SSNを会話学習に統合する。
• オープンドメインおよびタスク指向会話システムの両方で同じアーキテクチャを用いることで、汎用性とスケーラビリティを示した。
• 一貫した向上が得られるように、シーケンス生成（例：OpenSubtitles）およびポリシー学習（例：Movie-Ticket Booking）の両設定にこの手法を適用した。

実験結果

リサーチクエスチョン

• RQ1 会話における発話の順序をモデリングすることで、生成応答の整合性と多様性を向上させることができるか？
• RQ2 発話順序検出に基づく自己教師型タスクは、明示的なアノテーションを必要とせず、どのように会話生成を向上させることができるか？
• RQ3 サンプリングベースのアプローチは、長期間の会話履歴を効果的に近似し、シーケンスモデリングにおける忘れやすさを軽減できるか？
• RQ4 敵対的学習を用いて順序検出信号を統合することで、タスク指向設定におけるより優れた会話ポリシー学習が達成できるか？
• RQ5 提案手法は、オープンドメインおよびタスク指向会話システムの両方で汎用的に適用可能か？

主な発見

• 提案手法は、OpenSubtitlesデータセットで最先端の性能を達成し、自動評価および人間評価の両面で、以前の最先端手法を上回った。
• Movie-Ticket Bookingデータセットでは、SSNベースの判別器を統合したD3Q-SSNが、全計画ステップで元のD3Qを上回り、特に複数ターンの会話設定で顕著な向上を示した。
• 人間評価では、応答品質に顕著な改善が見られ、特に複数ターン会話においては、65%のケースでベースラインよりも好まれた。
• 明示的な多様性正則化を用いなくても、モデルはより多様な応答を生成しており、順序に配慮した生成が自然に多様性を促進していると考えられる。
• SSNベースの判別器は、低品質な模擬ユーザー体験を効果的にフィルタリングし、計画ステップの増加に伴うD3Qの性能低下を軽減した。