[論文レビュー] Towards Automated Video Game Testing: Still a Long Way to Go

Cristiano Politowski, Yann‐Gaël Guéhéneuc+1 more|arXiv (Cornell University)|Feb 25, 2022

Artificial Intelligence in Games被引用数 4

ひとこと要約

本研究は、自動化されたビデオゲームのテストに関する学術的研究と産業界の実務ニーズの間のギャップを調査し、開発者がAIエージェントをテストに使用することに対して依然として懐疑的であることが判明した。これは、ワークフローの混乱と初期コストの高さが要因である。研究関心の高まりにもかかわらず、大多数の解決策は実用的なテスト目標よりも機械学習モデルのパフォーマンスを重視しており、テストの目的やオラクルに焦点を当てた、軽量で干渉の少ないツールの必要性が浮き彫りになった。

ABSTRACT

As the complexity and scope of game development increase, playtesting remains an essential activity to ensure the quality of video games. Yet, the manual, ad-hoc nature of playtesting gives space to improvements in the process. In this study, we investigate gaps between academic solutions in the literature for automated video game testing and the needs of video game developers in the industry. We performed a literature review on video game automated testing and applied an online survey with video game developers. The literature results show a rise in research topics related to automated video game testing. The survey results show that game developers are skeptical about using automated agents to test games. We conclude that there is a need for new testing approaches that did not disrupt the developer workflow. As for the researchers, the focus should be on the testing goal and testing oracle.

研究の動機と目的

• 自動化されたビデオゲームテストに関する学術的研究と現実世界の開発者ニーズの間の乖離を特定すること。
• 実務のゲーム開発者視点から、学術的解決策の望ましさ、実現可能性、実行可能性を評価すること。
• AIエージェントを用いた自動テストが、研究関心の高まりにもかかわらず、なぜ採用されていないのかを理解すること。
• ワークフローの混乱、高い開発コスト、汎用ツールの不足といった主な障壁を特定すること。
• 将来的な研究を、テストの目的やオラクルに焦点を当てた実用的で開発者フレンドリーなアプローチに導くこと。

提案手法

• 自動化されたビデオゲームテストに関する166編の論文の文献レビューを実施し、53件の有望な解決策に絞った。
• 自動化テスト分野における関連性と革新性を基準に、7件の代表的な学術的解決策を選定して評価対象とした。
• ゲーム開発者、特にデザイナーやマネージャーを対象にしたオンラインアンケートを設計・実施し、7件の解決策の評価を実施した。
• 望ましさ、実現可能性、実行可能性に焦点を当てた質問を設計し、技術的詳細を簡素化することで、開発者の理解を促進した。
• 定性的および定量的分析を用いてアンケート結果を解釈し、繰り返し現れる懸念事項を特定した。
• 低応答率や回答者に限られた技術的専門知識がある可能性があることへのバイアスを認識し、対処した。

実験結果

リサーチクエスチョン

• RQ1 自動化されたビデオゲームテストに関する学術的解決策は、ゲーム開発者の実際のニーズとどのように比較されるか？
• RQ2 ゲーム開発者がAIベースの自動テストエージェントを採用しない主な障壁は何であるか？
• RQ3 開発者は、学術的解決策を現実世界での使用に際して、どの程度実現可能で、実現可能で、望ましいと認識しているか？
• RQ4 ワークフローの混乱と初期開発コストは、自動テストツールの採用にどのように影響しているか？
• RQ5 将来的な自動化されたビデオゲームテストに関する研究において、テストの目的とテストオラクルはどのような役割を果たすべきか？

主な発見

• 近年、特に機械学習駆動のテストアプローチを軸に、自動化されたビデオゲームテストに関する学術的研究が著しく増加している。
• 大多数の学術的解決策は、バグ検出やゲームプレイの質といった実際のテスト目標よりも、機械学習モデルのパフォーマンスを重視している。
• ゲーム開発者はAIエージェントをテストに使用することに対して懐疑的であり、高コストで時間のかかるもの、既存のワークフローを混乱させるものだと見なしている。
• インディー開発者や小規模スタジオは、7件の評価対象解決策すべてに対して、高いセットアップおよびカスタマイズコストが理由で不適切と感じた。
• 回答者からは、Unreal Engineなどのゲームエンジンに直接統合可能なオープンソースで汎用的なテストツールへの強い需要が示された。
• AIの進歩にもかかわらず、開発者は楽しさ、一貫性、使いやすさの評価といった、人間の判断が不可欠であると信じており、AIがまだ効果的に再現できないタスクだと考えている。