[论文解读] Bot or Human? Detecting ChatGPT Imposters with A Single Question

Hong Wang, Xuan Luo+2 more|arXiv (Cornell University)|May 10, 2023

Topic Modeling被引用 7

一句话总结

本文提出 FLAIR 框架，通过一个精心设计的单一问题，利用人类与大语言模型（LLM）在认知能力上的差异，检测对话机器人。通过利用人类擅长（如符号操作、ASCII 理解）而 LLM 难以应对的任务，FLAIR 实现了接近 100% 的人类检测准确率，而 LLM 在这些任务上完全失败，提供了一种强大且实时的替代传统 CAPTCHA 的方案。

ABSTRACT

Large language models (LLMs) like GPT-4 have recently demonstrated impressive capabilities in natural language understanding and generation. However, there is a concern that they can be misused for malicious purposes, such as fraud or denial-of-service attacks. Therefore, it is crucial to develop methods for detecting whether the party involved in a conversation is a bot or a human. In this paper, we propose a framework named FLAIR, Finding Large Language Model Authenticity via a Single Inquiry and Response, to detect conversational bots in an online manner. Specifically, we target a single question scenario that can effectively differentiate human users from bots. The questions are divided into two categories: those that are easy for humans but difficult for bots (e.g., counting, substitution, searching, and ASCII art reasoning), and those that are easy for bots but difficult for humans (e.g., memorization and computation). Our approach shows different strengths of these questions in their effectiveness, providing a new way for online service providers to protect themselves against nefarious activities. Our code and question set are available at https://github.com/hongwang600/FLAIR.

研究动机与目标

• 为应对 LLM 驱动的机器人在在线服务中冒充人类的日益增长的威胁。
• 克服传统 CAPTCHA 在检测纯文本聊天机器人方面的局限性。
• 开发一种实时、单题检测方法，可靠地区分人类用户与 LLM 生成的回复。
• 识别出人类表现优于 LLM 的特定认知任务，从而实现有效的机器人检测。

提出的方法

• 设计一组问题，利用人类与 LLM 能力的不对称性：人类擅长但 LLM 困难的任务（如 ASCII 艺术推理、符号操作），以及 LLM 擅长但人类困难的任务（如记忆、计算）。
• 将问题分类为两类：人类擅长的任务（如计数、替换、搜索、ASCII 理解）和 LLM 擅长的任务（如记忆、计算）。
• 使用单题询问，通过响应表现的差异揭示回答者的身份。
• 在多个 LLM（如 GPT-4、Vicuna-13b）和人类参与者上评估这些任务的表现，以衡量检测准确率。
• 应用思维链提示（chain-of-thought prompting）和代码生成提示（code-generation prompting），测试 LLM 是否能克服任务限制。
• 将发现结果与行为检测方法（如交互时间、输入模式）结合，以增强检测的鲁棒性。

实验结果

研究问题

• RQ1 一个精心设计的单一问题是否能可靠地区分实时在线交互中的人类用户与基于 LLM 的聊天机器人？
• RQ2 哪些类型的认知任务对 LLM 来说本质上更困难但对人类来说可管理，反之亦然？
• RQ3 不同 LLM 架构（如 GPT-4 与 Vicuna-13b）在利用人类特有优势的任务上表现如何？
• RQ4 提示技术（如思维链、代码生成）在多大程度上能使 LLM 克服为它们设计的困难任务？
• RQ5 当 LLM 无法泛化到训练样本之外时，少量-shot 推理问题能否用于检测 LLM？

主要发现

• 人类在符号操作、随机性、搜索和 ASCII 艺术推理任务中达到 100% 准确率，而 GPT-4 等 LLM 在这些任务上的得分接近 0%。
• LLM 如 GPT-4 在记忆和计算任务中达到接近完美的准确率（接近 100%），而人类参与者在这些任务中的成功率仅为 6% 和 2%。
• 思维链提示提高了 LLM 在可分解任务（如计数、替换）上的表现，但未能提升其在搜索和 ASCII 理解任务上的表现。
• 手动代码生成提示使 GPT-4 在计数、替换和搜索任务中达到 100% 准确率，但在 ASCII 艺术推理任务上完全失败，准确率为 0%。
• 即使 LLM 被提示使用代码，该框架依然有效，因为它们无法为视觉和模式相关的推理任务生成正确代码。
• 该方法在与行为生物特征（如打字模式、响应时间）结合时展现出强大潜力，可增强对 LLM 能力演进的检测鲁棒性。