[論文レビュー] Chat as Expected: Learning to Manipulate Black-box Neural Dialogue Models

Haochen Liu, Zhiwei Wang+2 more|arXiv (Cornell University)|May 27, 2020

Topic Modeling参考文献 38被引用数 13

ひとこと要約

本稿では、ブラックボックス型ニューラルダイアログモデルが特定のターゲット応答を生成するように誘導する入力文を自動で生成する強化学習ベースのフレームワーク、TDGPNを提案する。入力の設計を逐次的意思決定プロセスとして扱うことで、モデルのパラメータにアクセスせずに、望ましい出力を誘導する高い成功率を達成し、最先端のダイアログシステムにおける深刻な脆弱性を露呈している。

ABSTRACT

Recently, neural network based dialogue systems have become ubiquitous in our increasingly digitalized society. However, due to their inherent opaqueness, some recently raised concerns about using neural models are starting to be taken seriously. In fact, intentional or unintentional behaviors could lead to a dialogue system to generate inappropriate responses. Thus, in this paper, we investigate whether we can learn to craft input sentences that result in a black-box neural dialogue model being manipulated into having its outputs contain target words or match target sentences. We propose a reinforcement learning based model that can generate such desired inputs automatically. Extensive experiments on a popular well-trained state-of-the-art neural dialogue model show that our method can successfully seek out desired inputs that lead to the target outputs in a considerable portion of cases. Consequently, our work reveals the potential of neural dialogue models to be manipulated, which inspires and opens the door towards developing strategies to defend them.

研究の動機と目的

• ブラックボックス型ニューラルダイアログモデルが特定のターゲット応答を生成できるかどうかを調査すること。
• 勾配が利用できない離散的かつブラックボックスな環境において、効果的な入力を設計する課題に対処すること。
• モデルのアーキテクチャやパラメータにアクセスしない方法を開発し、現実的な敵対的テストを可能にすること。
• 自然で滑らかな入力を生成する強化学習の有効性と実用性を評価すること。
• 最先端のダイアログシステムにおける脆弱性を明らかにすることで、防御戦略の構築を促進すること。

提案手法

• TDGPNは、強化学習を用いて入力文の生成を逐次的意思決定プロセスとして定式化する。
• 勾配の逆伝播を回避できるREINFORCEスタイルの推定器を用いて方策ネットワークを最適化し、離散的シーケンスに適している。
• エージェントは報酬信号に従って段階的にトークンを生成し、モデルの出力がターゲットにどれほど近いかを評価する。
• 生成された入力が流暢で自然であることを保証するため、事前学習済み言語モデルに依存している。
• フレームワークはブラックボックス仮定に基づき、モデルのパラメータやアーキテクチャにアクセスしない。
• 報酬設計により、内容および類似性の両面でターゲット語句や文と一致する応答を促進する。

実験結果

リサーチクエスチョン

• RQ1 ブラックボックス型ニューラルダイアログモデルは、設計された入力を用いて特定のターゲット応答を生成できるか？
• RQ2 強化学習ベースのアプローチは、自然で流暢な入力を生成し、望ましい出力を誘導するのにどの程度有効か？
• RQ3 モデルのパラメータにアクセスしない状況でも、この手法がターゲット応答を誘導するのにどの程度成功するか？
• RQ4 生成された入力はターゲット応答と比べて、どれほど流暢で類似性が高いか？
• RQ5 このフレームワークは他のダイアログシステムやNLP生成タスクへ一般化可能か？

主な発見

• TDGPNはターゲット語句タスクで69%の成功率を達成し、ベースライン手法を顕著に上回った。
• ターゲット応答タスクにおいて、7〜10語の応答について平均類似度スコアが0.748に達したのに対し、ランダム入力では0.566にとどまった。
• 事例研究では、生成された入力が流暢で自然であり、ターゲット応答との類似度スコアが0.826から0.958の範囲にあった。
• モデルは内部構造にアクセスせずに、多数の試行で特定のターゲット語句やフレーズを含む応答を誘導できた。
• 生成された入力は滑らかで意味的に意味のあるものであり、言語モデルが流暢さを維持する有効性が示された。
• 結果から、最先端のブラックボックス型ダイアログモデルがRLベースの入力設計によって入力レベルで操作可能であることが確認された。