[論文レビュー] Teaching Machines to Converse

Jiwei Li|arXiv (Cornell University)|Jan 31, 2020

Topic Modeling参考文献 150被引用数 5

ひとこと要約

本学位論文は、ニューラル会話モデルにおける主な課題である、一般的な応答、一貫性のないユーザーパーソナ、長期的な一貫性の欠如、人間との相互作用からの学習の不可能性を解決することを目的として、フレームワークを提案する。相互情報量の最大化、強化学習、対抗的訓練、インタラクティブな学習を用いることで、ユーザーとのオンライン相互作用を通じて、より魅力的で文脈的に整合性があり、人間らしい応答を生成する。

ABSTRACT

The ability of a machine to communicate with humans has long been associated with the general success of AI. This dates back to Alan Turing's epoch-making work in the early 1950s, which proposes that a machine's intelligence can be tested by how well it, the machine, can fool a human into believing that the machine is a human through dialogue conversations. Many systems learn generation rules from a minimal set of authored rules or labels on top of hand-coded rules or templates, and thus are both expensive and difficult to extend to open-domain scenarios. Recently, the emergence of neural network models the potential to solve many of the problems in dialogue learning that earlier systems cannot tackle: the end-to-end neural frameworks offer the promise of scalability and language-independence, together with the ability to track the dialogue state and then mapping between states and dialogue actions in a way not possible with conventional systems. On the other hand, neural systems bring about new challenges: they tend to output dull and generic responses; they lack a consistent or a coherent persona; they are usually optimized through single-turn conversations and are incapable of handling the long-term success of a conversation; and they are not able to take the advantage of the interactions with humans. This dissertation attempts to tackle these challenges: Contributions are two-fold: (1) we address new challenges presented by neural network models in open-domain dialogue generation systems; (2) we develop interactive question-answering dialogue systems by (a) giving the agent the ability to ask questions and (b) training a conversation agent through interactions with humans in an online fashion, where a bot improves through communicating with humans and learning from the mistakes that it makes.

研究の動機と目的

• オープンドメイン会話において、退屈で一般的な、あるいは一貫性のない応答を生成するニューラル対話モデルの限界を克服すること。
• 表現学習とメモリ機構を用いて、長時間にわたる会話においても一貫したユーザーパーソナを維持できる対話エージェントを実現すること。
• 複数ターンにわたる会話の整合性と関与度を最適化する強化学習による訓練を通じて、長期的な会話の成功を向上させること。
• ライブ会話中に人間からのフィードバックを受けてリアルタイムで改善するインタラクティブな学習システムを構築すること。
• テキスト的、視覚的、意味的推論といったマルチモーダルな文脈を会話生成に統合し、より根拠があり文脈に即した応答を実現すること。

提案手法

• 会話履歴と応答候補間の相互情報量を最大化することで、一般的な応答の発生を低減し、関連性を向上させること。
• 人間の好みの信号を用いた強化学習を採用し、単一ターンの正確さではなく、長期間にわたる会話の成功を最適化すること。
• 人間評価において、モデルが生成する応答が人間が書いたものと区別できないようにするため、対抗的訓練を適用すること。
• エージェントが能動的に質問をし、ユーザーとのオンライン相互作用を通じて改善するインタラクティブな学習フレームワークを設計すること。
• 注意メカニズムを用いて会話履歴からの重要な情報抽出を実施し、文脈に即した応答の根拠を強化すること。
• 大規模データから得られる暗黙の推論チェーン学習を活用し、論理的推論と常識的知識を会話生成に統合すること。

実験結果

リサーチクエスチョン

• RQ1 ニューラル会話モデルが一般的な繰り返しの応答を生成するのをどうすれば防げるか？
• RQ2 長時間にわたる会話において、対話エージェントが一貫したユーザーパーソナを維持できるか？
• RQ3 長期的な会話の整合性と成功を向上させるために、どのような訓練目的が有効か？
• RQ4 対抗的訓練が、機械生成応答を人間の応答と区別できないように効果的に可能にするか？
• RQ5 対話エージェントは、リアルタイムの人間との相互作用から学習し、時間経過とともに改善できるか？

主な発見

• 相互情報量の最大化により、オープンドメイン会話生成において「知らない」といった一般的な応答の頻度が顕著に低下した。
• 人間からのフィードバックを用いた強化学習により、長期的な会話の整合性が向上し、より魅力的で文脈に即した会話が実現した。
• 対抗的訓練により、人間評価の70％以上でモデルが生成する応答が人間らしいと評価され、ベースラインモデルを上回った。
• 人間を含むフィードバックによるインタラクティブな学習により、エージェントはリアルタイムで行動を適応させることができ、複数の相互作用ラウンドにわたり応答品質が向上した。
• 会話履歴からの重要な情報抽出を統合することで、追跡番号などの重要なエンティティを記憶する必要があるタスクにおいて、応答の関連性が向上した。
• データから暗黙の論理的チェーンを学習することで、モデルは「試験がある」といった文脈的手がかりから「パーティーに参加しない」といった結論を導き出す能力を向上させた。