[論文レビュー] Say What I Want: Towards the Dark Side of Neural Dialogue Models

Haochen Liu, Tyler Derr+2 more|arXiv (Cornell University)|Sep 13, 2019

Topic Modeling参考文献 41被引用数 18

ひとこと要約

本論文は、ブラックボックス型ニューラル対話モデルが特定の標的応答を生成するように操作するための、強化学習に基づく逆対話生成器を提案する。この手法は、生成された応答と標的応答の間で高い類似度（最大41.5%の向上）を達成し、ニューラルチャットボットにおける深刻なセキュリティ上の脆弱性を露呈している。

ABSTRACT

Neural dialogue models have been widely adopted in various chatbot applications because of their good performance in simulating and generalizing human conversations. However, there exists a dark side of these models -- due to the vulnerability of neural networks, a neural dialogue model can be manipulated by users to say what they want, which brings in concerns about the security of practical chatbot services. In this work, we investigate whether we can craft inputs that lead a well-trained black-box neural dialogue model to generate targeted outputs. We formulate this as a reinforcement learning (RL) problem and train a Reverse Dialogue Generator which efficiently finds such inputs for targeted outputs. Experiments conducted on a representative neural dialogue model show that our proposed model is able to discover such desired inputs in a considerable portion of cases. Overall, our work reveals this weakness of neural dialogue models and may prompt further researches of developing corresponding solutions to avoid it.

研究の動機と目的

• ブラックボックス型ニューラル対話モデルが、特定の標的応答を生成するように操作可能かどうかを調査すること。
• 勾配へのアクセスが制限された離散的でブラックボックス型のモデルに対して、効果的なテキスト入力をどのように作成するかという課題に取り組むこと。
• 事前学習済み対話システムから望ましい出力を誘発するためのスケーラブルでインタラクションに効率的な手法を開発すること。
• 実世界の応用におけるニューラル対話モデルのセキュリティリスクを明らかにすること。

提案手法

• 逆対話生成器は、ブラックボックス型対話モデルから標的応答を誘発する入力クエリを生成する強化学習エージェントとして訓練される。
• 生成器は、生成出力と標的応答の類似度を最大化するために、ポリシー勾配最適化を用いたSeq2Seqアーキテクチャを採用している。
• 対話モデルは環境として機能し、生成された応答と標的応答の埋め込み類似度に基づいてフィードバック（報酬）を提供する。
• 入力品質と応答の整合性を向上させるために、ビームサイズを変更してビームサーチを採用している（50、200）。
• 報酬信号は、モデルの出力と望ましい標的との間の埋め込み類似度（例：コサイン類似度）を用いて計算される。
• 生成器は、ブルートフォースや勾配ベースの手法への依存を最小限に抑えるために、相互作用を通じてエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みブラックボックス型ニューラル対話モデルが、特定の標的応答を正確に生成するように誘導するテキスト入力を作成可能か？
• RQ2 モデルの勾配にアクセスできない状況下で、強化学習に基づくアプローチが、このような入力を効果的に生成できるか？
• RQ3 生成された入力が標的応答とどれほど高い意味的類似度を達成できるか？
• RQ4 作成された入力は自然で流暢な表現であるか、それとも不文閲で攻撃的・異常なスタイルに見えるか？

主な発見

• 逆対話生成器は応答類似度を顕著に向上させ、長さ1〜3の標的応答において、埋め込み類似度で平均41.5%の向上を達成した。
• ビームサイズ200のビームサーチを用いた場合、長さ4〜6の応答では34.0%、長さ7〜10の応答では28.3%の類似度向上が得られた。
• モデルは、自然で文法的に正しい入力を効果的に生成し、複数のテストケースで正確またはほぼ正確な標的応答を誘発した。
• ケーススタディでは、5件中5件の標的応答が類似度0.94以上で一致し、1.0の類似度で正確な一致も達成された。
• 全応答長カテゴリにおいて、ベースライン手法（例：グリーディデコード）を上回る性能を示し、特にビームサイズ200のビームサーチで最高の性能を発揮した。
• 結果から、ニューラル対話モデルがブラックボックス環境下でも、適切に設計された入力によって操作可能であることが示された。