[論文レビュー] Detecting egregious responses in neural sequence-to-sequence models

Tianxing He, James Glass|arXiv (Cornell University)|Sep 11, 2018

Cell Image Analysis Techniques被引用数 17

ひとこと要約

この論文は、well-trainedなニューラルシーケンス・ツー・シーケンスモデルが極端な（例：攻撃的、侮辱的）応答を生成するのを引き起こすトリガ入力を検出するための離散最適化手法、Gibbs-enumを提案する。悪意のある出力の手作業によるリストを標的にし、言語モデルを用いて入力の妥当性を制約することで、Ubuntu、Switchboard、OpenSubtitlesデータセットで訓練された対話モデルにおいて、高確率で極端な出力を引き起こす入力を効果的に特定した。

ABSTRACT

In this work, we attempt to answer a critical question: whether there exists some input sequence that will cause a well-trained discrete-space neural network sequence-to-sequence (seq2seq) model to generate egregious outputs (aggressive, malicious, attacking, etc.). And if such inputs exist, how to find them efficiently. We adopt an empirical methodology, in which we first create lists of egregious output sequences, and then design a discrete optimization algorithm to find input sequences that will cause the model to generate them. Moreover, the optimization algorithm is enhanced for large vocabulary search and constrained to search for input sequences that are likely to be input by real-world users. In our experiments, we apply this approach to dialogue response generation models trained on three real-world dialogue data-sets: Ubuntu, Switchboard and OpenSubtitles, testing whether the model can generate malicious responses. We demonstrate that given the trigger inputs our algorithm finds, a significant number of malicious sentences are assigned large probability by the model, which reveals an undesirable consequence of standard seq2seq training.

研究の動機と目的

• well-trainedなニューラルシーケンス・ツー・シーケンスモデルが、侮辱や脅しのような極端な出力を生成できるかどうかを調査すること。
• このような不適切な応答を引き起こす入力系列を効率的に発見するための手法を開発すること。
• 言語モデルによる制約を用いて、発見されたトリガ入力が現実のユーザー入力に類似しており妥当であることを保証すること。
• 最先端の対話応答生成モデルが、有害な出力を引き起こす悪意ある入力に対してどれほど脆弱であるかを評価すること。
• 高品質で非攻撃的なデータで訓練されたモデルですら、特定のトリガ入力によって悪意ある応答を生成させられることを示すこと。

提案手法

• 責任ある対話モデルが決して生成してはならない極端なターゲット出力（例：侮辱、脅し）のリストを構築する。
• 勾配情報を利用して探索をガイドしながら、有効な one-hot 入力表現を維持する離散最適化アルゴリズム、Gibbs-enum を提案する。
• 入力系列が意味的に妥当で、現実のユーザー入力に類似しているようにするために、言語モデルを用いて入力を制約する。
• 最後の隠れ状態（last-h）とアテンションベースのコンテキストベクトル機構の両方を備えたエンコーダ・デコーダ RNN モデルにアルゴリズムを適用する。
• モデルの出力確率分布を用いて、トリガ入力の下で極端な出力が適切な応答よりも高い尤度を割り当てるかどうかを評価する。
• モデルの内部パラメータを必要とせず、入力-出力挙動のみに依存するブラックボックス攻撃フレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 特定の入力によって、well-trainedなシーケンス・ツー・シーケンスモデルが侮辱や脅しのような極端な応答を生成できるか？
• RQ2 どの種類の入力系列（トリガ）が、モデルに対して極端な出力を高確率で引き起こすか？
• RQ3 発見されたトリガ入力は現実のユーザー入力に類似しており妥当か、それとも文法的・意味的に不自然か？
• RQ4 Gibbs-enumアルゴリズムは、ベースライン手法と比較して、このようなトリガをどれほど効果的に特定できるか？
• RQ5 高品質で非攻撃的な対話データで訓練されたモデルは、悪意ある入力に対してどれほど脆弱であり、有害な出力を生成してしまうか？

主な発見

• Ubuntu、Switchboard、OpenSubtitlesデータセットで訓練されたモデルにおいて、特定のトリガ入力によって、侮辱や脅しのような極端な応答が高確率で誘発されることが判明した。
• Gibbs-enumアルゴリズムは、極端な出力が適切な文脈的応答よりも高い尤度を割り当てるようなトリガ入力を効果的に特定した。
• 入力系列を制約する言語モデルの使用により、発見されたトリガは意味的に妥当で、現実のユーザー入力に類似していることが保証された。
• 異なるアテンション機構（last-h とアテンションベース）の両方で同様の脆弱性が観察されたため、seq2seqモデル設計における一般的な問題であることが示された。
• 大規模で高品質で非攻撃的な対話データで訓練されたモデルですら、悪意ある入力によって悪意ある応答を生成させられることを示した。
• 本研究では、このようなトリガの存在が実証的に検証可能であることを示し、対話エージェントの実世界での導入における深刻なセキュリティと安全性の懸念を浮き彫りにした。