[论文解读] Chat as Expected: Learning to Manipulate Black-box Neural Dialogue Models

Haochen Liu, Zhiwei Wang+2 more|arXiv (Cornell University)|May 27, 2020

Topic Modeling参考文献 38被引用 13

一句话总结

该论文提出了一种基于强化学习的框架TDGPN，可自动生成输入句子，以操纵黑盒神经对话模型生成目标响应。通过将输入构造视为一个序列决策过程，TDGPN在无需访问模型参数的情况下，实现了诱导期望输出的高成功率，揭示了当前最先进对话系统中的关键安全漏洞。

ABSTRACT

Recently, neural network based dialogue systems have become ubiquitous in our increasingly digitalized society. However, due to their inherent opaqueness, some recently raised concerns about using neural models are starting to be taken seriously. In fact, intentional or unintentional behaviors could lead to a dialogue system to generate inappropriate responses. Thus, in this paper, we investigate whether we can learn to craft input sentences that result in a black-box neural dialogue model being manipulated into having its outputs contain target words or match target sentences. We propose a reinforcement learning based model that can generate such desired inputs automatically. Extensive experiments on a popular well-trained state-of-the-art neural dialogue model show that our method can successfully seek out desired inputs that lead to the target outputs in a considerable portion of cases. Consequently, our work reveals the potential of neural dialogue models to be manipulated, which inspires and opens the door towards developing strategies to defend them.

研究动机与目标

• 探究黑盒神经对话模型是否可被构造的输入诱导生成特定目标响应。
• 解决在离散、黑盒设置下，梯度不可用时有效构造输入的挑战。
• 开发一种无需访问模型架构或参数的方法，以实现对真实环境的对抗性测试。
• 评估强化学习在生成自然、流畅输入以触发期望输出方面的可行性与有效性。
• 通过暴露当前最先进对话系统中的安全漏洞，启发防御策略的构建。

提出的方法

• TDGPN将输入句子生成建模为使用强化学习的序列决策过程。
• 策略网络通过REINFORCE风格的估计器进行优化，以绕过梯度反向传播，适用于离散序列。
• 智能体逐步生成标记，受基于模型输出与目标匹配程度的奖励信号引导。
• 该方法依赖预训练语言模型，以确保生成的输入流畅自然。
• 该框架在黑盒假设下运行，无需访问模型参数或架构。
• 采用奖励塑形，以鼓励生成在内容和相似度上均匹配目标词或句子的响应。

实验结果

研究问题

• RQ1 是否可以通过构造的输入操纵黑盒神经对话模型，使其生成特定目标响应？
• RQ2 基于强化学习的方法在生成自然流畅输入以触发期望输出方面效果如何？
• RQ3 在无法访问模型参数的情况下，该方法在诱导目标响应方面的成功率能达到何种程度？
• RQ4 生成的输入在流畅度和与目标响应的相似度方面表现如何？
• RQ5 该框架是否可推广至其他对话系统或NLP生成任务？

主要发现

• 在目标词任务中，TDGPN实现了69%的成功率，显著优于基线方法。
• 在目标响应任务中，该方法在7–10个词长度的响应上平均相似度得分为0.748，而随机输入仅为0.566。
• 案例研究显示，生成的输入流畅自然，与目标响应的相似度得分在0.826至0.958之间。
• 即使在无法访问模型内部结构的情况下，该模型仍能在相当大比例的试验中成功诱导出包含特定目标词或短语的响应。
• 生成的输入平滑且语义合理，证明了语言模型在保持流畅性方面的有效性。
• 结果证实，当前最先进的黑盒对话模型在输入层面易受基于强化学习的构造攻击影响。