[论文解读] Large Language Models are Pretty Good Zero-Shot Video Game Bug Detectors

Mohammad Reza Taesiri, Finlay Macklon+3 more|arXiv (Cornell University)|Oct 5, 2022

Artificial Intelligence in Games被引用 4

一句话总结

本文提出将大型语言模型（LLMs）用作零样本视频游戏错误检测器，通过将错误检测问题转化为问答任务。利用包含8款游戏共334组问答对的新颖游戏错误描述基准数据集GameBugDescriptions，作者实现了最高78.94%的准确率，证明了LLMs无需微调即可通过游戏上下文和常识推理有效检测错误。

ABSTRACT

Video game testing requires game-specific knowledge as well as common sense reasoning about the events in the game. While AI-driven agents can satisfy the first requirement, it is not yet possible to meet the second requirement automatically. Therefore, video game testing often still relies on manual testing, and human testers are required to play the game thoroughly to detect bugs. As a result, it is challenging to fully automate game testing. In this study, we explore the possibility of leveraging the zero-shot capabilities of large language models for video game bug detection. By formulating the bug detection problem as a question-answering task, we show that large language models can identify which event is buggy in a sequence of textual descriptions of events from a game. To this end, we introduce the GameBugDescriptions benchmark dataset, which consists of 167 buggy gameplay videos and a total of 334 question-answer pairs across 8 games. We extensively evaluate the performance of six models across the OPT and InstructGPT large language model families on our benchmark dataset. Our results show promising results for employing language models to detect video game bugs. With the proper prompting technique, we could achieve an accuracy of 70.66%, and on some video games, up to 78.94%. Our code, evaluation data and the benchmark can be found on https://asgaardlab.github.io/LLMxBugs

研究动机与目标

• 探究大型语言模型是否能在无需微调的零样本设置下检测视频游戏错误。
• 解决自动化游戏测试的挑战，该挑战需要游戏特定知识和常识推理能力。
• 创建一个用于评估LLMs在视频游戏调试任务中分布外泛化能力的基准数据集。
• 评估LLMs在不同文本描述下同一游戏事件序列的鲁棒性。
• 识别能最大化LLMs在游戏错误检测中性能的提示工程策略。

提出的方法

• 通过自然语言提示将视频游戏错误检测转化为问答任务。
• 构建GameBugDescriptions基准数据集，包含167段存在错误的游戏视频和8款游戏中共334组问答对。
• 使用OPT和InstructGPT系列的LLMs进行零样本提示，分类序列中哪一事件存在错误。
• 应用“让我们一步步思考”提示技术以提升推理能力和准确率。
• 在错误检测和错误类型分类两项任务上评估模型性能。
• 通过改变同一事件序列的文本描述，分析模型的鲁棒性。

实验结果

研究问题

• RQ1 大型语言模型是否能在无需任务特定微调的零样本设置下检测视频游戏错误？
• RQ2 LLMs在不同视频游戏和错误类型上的表现有何差异？
• RQ3 哪些提示策略（如“让我们一步步思考”）能提升LLMs在游戏错误检测中的推理能力和准确率？
• RQ4 LLMs对同一游戏事件序列的不同文本描述变化有多强的鲁棒性？
• RQ5 当前LLMs在此任务中的局限性是什么，特别是对于像OPT-175B这样的大模型？

主要发现

• 表现最佳的模型在GameBugDescriptions基准上实现了70.66%的零样本准确率。
• 在某些游戏中，如《GTA V》，模型准确率最高达到78.94%，表明在特定上下文中表现优异。
• “让我们一步步思考”提示技术显著提升了多个模型的推理能力和准确率。
• 尽管参数规模巨大，OPT-175B模型表现欠佳，表明即使中间推理正确，答案提取仍存在问题。
• 基于视觉的视频字幕模型（如CLIP-Cap和OFA）未能准确生成游戏事件描述，凸显了对游戏引擎集成或专用描述流水线的需求。
• 本研究揭示LLMs具备向分布外游戏场景泛化的能力，使GameBugDescriptions数据集成为未来LLM评估的重要OOD基准。