[논문 리뷰] Large Language Models are Pretty Good Zero-Shot Video Game Bug Detectors

Mohammad Reza Taesiri, Finlay Macklon외 3명|arXiv (Cornell University)|2022. 10. 05.

Artificial Intelligence in Games인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)을 사전 훈련 없이 영상 게임 버그 검출기로 사용하는 것을 제안한다. 버그 검출을 질문-답변 작업으로 재정의함으로써, 8개의 게임에서 334개의 질문-답변 쌍을 포함한 새로운 GameBugDescriptions 벤치마크를 활용해 최대 78.94%의 정확도를 달성하였다. 이는 LLMs가 미세조정 없이도 게임의 맥락과 일반적 추론 능력을 활용해 버그를 효과적으로 탐지할 수 있음을 보여준다.

ABSTRACT

Video game testing requires game-specific knowledge as well as common sense reasoning about the events in the game. While AI-driven agents can satisfy the first requirement, it is not yet possible to meet the second requirement automatically. Therefore, video game testing often still relies on manual testing, and human testers are required to play the game thoroughly to detect bugs. As a result, it is challenging to fully automate game testing. In this study, we explore the possibility of leveraging the zero-shot capabilities of large language models for video game bug detection. By formulating the bug detection problem as a question-answering task, we show that large language models can identify which event is buggy in a sequence of textual descriptions of events from a game. To this end, we introduce the GameBugDescriptions benchmark dataset, which consists of 167 buggy gameplay videos and a total of 334 question-answer pairs across 8 games. We extensively evaluate the performance of six models across the OPT and InstructGPT large language model families on our benchmark dataset. Our results show promising results for employing language models to detect video game bugs. With the proper prompting technique, we could achieve an accuracy of 70.66%, and on some video games, up to 78.94%. Our code, evaluation data and the benchmark can be found on https://asgaardlab.github.io/LLMxBugs

연구 동기 및 목표

• 대규모 언어 모델이 사전 훈련 없이 사전 지식 없이 영상 게임 버그를 사전 테스트 없이 탐지할 수 있는지 조사한다.
• 게임 전용 지식과 일반적 추론 능력이 요구되는 자동화된 게임 테스팅 문제를 해결한다.
• 영상 게임 디버깅에서 LLM의 분포 외 평가를 위한 벤치마크 데이터셋을 구축한다.
• 동일한 게임 이벤트에 대한 다양한 텍스트 기술의 변화에 대해 LLM의 강건성을 평가한다.
• 영상 게임 버그 검출에서 LLM 성능을 극대화하는 프롬프팅 전략을 규명한다.

제안 방법

• 자연어 프롬프트를 사용해 영상 게임 버그 검출을 질문-답변 작업으로 재정의한다.
• 8개의 게임에서 167개의 버그 있는 게임 플레이 영상과 334개의 질문-답변 쌍을 포함한 GameBugDescriptions 벤치마크를 구축한다.
• OPT 및 InstructGPT 계열의 LLM을 사용해 시퀀스 중 어느 이벤트가 버그인지 분류하기 위해 사전 훈련 없이 프롬프팅을 적용한다.
• 추론 능력과 정확도 향상을 위해 '한 번에 한 단계씩 생각해 봅시다' 프롬프팅 기법을 적용한다.
• 버그 검출 및 버그 유형 분류 작업에서 모델 성능을 평가한다.
• 동일한 이벤트 시퀀스에 대해 다양한 텍스트 기술을 변화시켜 모델의 강건성을 분석한다.

실험 결과

연구 질문

• RQ1 대규모 언어 모델은 작업 특화 미세조정 없이 사전 훈련 없이 영상 게임 버그를 사전 테스트로 탐지할 수 있는가?
• RQ2 LLM 성능은 다양한 영상 게임과 버그 유형 간에 어떻게 달라지는가?
• RQ3 '한 번에 한 단계씩 생각해 봅시다'와 같은 프롬프팅 전략은 LLM의 추론 능력과 버그 검출 정확도를 어떻게 향상시키는가?
• RQ4 동일한 게임 이벤트 시퀀스에 대한 텍스트 기술의 변화에 대해 LLM의 강건성은 어떠한가?
• RQ5 현재 LLM의 이 작업에서의 한계는 무엇인가, 특히 OPT-175B와 같은 대규모 모델의 경우는 어떠한가?

주요 결과

• 가장 성능이 뛰어난 모델은 GameBugDescriptions 벤치마크에서 사전 훈련 없이도 70.66%의 정확도를 달성했다.
• 일부 게임, 특히 Grand Theft Auto V에서는 최대 78.94%의 정확도를 기록하여 특정 맥락에서는 뛰어난 성능을 보였다.
• '한 번에 한 단계씩 생각해 봅시다' 프롬프팅 기법은 여러 모델에서 추론 능력과 정확도를 크게 향상시켰다.
• OPT-175B 모델은 크기에도 불구하고 낮은 성능을 보였으며, 이는 중간 추론은 정확했지만 답변 추출에 문제가 있음을 시사한다.
• 비전 기반 영상 캡션 모델인 CLIP-Cap과 OFA가 게임 이벤트의 정확한 기술을 생성하지 못해, 게임 엔진 통합 또는 전용 기술 파이프라인의 필요성을 확인했다.
• 본 연구는 LLM이 분포 외 게임 시나리오로 일반화할 수 있음을 보여주며, GameBugDescriptions 데이터셋이 향후 LLM 평가를 위한 가치 있는 OOD 벤치마크가 될 수 있음을 시사한다.