[論文レビュー] Computer Games Are Serious Business and so is their Quality: Particularities of Software Testing in Game Development from the Perspective of Practitioners

Ronnie E. S. Santos, Cleyton Magalhães+4 more|arXiv (Cornell University)|Dec 12, 2018

Educational Games and Gamification参考文献 23被引用数 3

ひとこと要約

本研究は、38名の実務家を対象とした混合研究およびアンケートを通じて、コンピュータゲーム開発におけるソフトウェアテストの独自の課題を調査した。ゲームテストは機能的な正しさを越えて、バランス、物理的挙動、エンターテインメント性の評価を含む必要があることが明らかになった。これは、ゲーム固有の非機能的要件に適合した特別なテスト手法の必要性を示している。

ABSTRACT

Over the last several decades, computer games started to have a significant impact on society. However, although a computer game is a type of software, the process to conceptualize, produce and deliver a game could involve unusual features. In software testing, for instance, studies demonstrated the hesitance of professionals to use automated testing techniques with games, due to the constant changes in requirements and design, and pointed out the need for creating testing tools that take into account the flexibility required for the game development process. Goal. This study aims to improve the current body of knowledge regarding software testing in game development and point out the existing particularities observed in software testing considering the development of a computer game. Method. A mixed-method approach based on a case study and an opinion survey was applied to collect quantitative and qualitative data from software professionals regarding the particularities of software testing in game development. Results. We analyzed over 70 messages posted on three well-established network of question-and-answer communities related to software engineering, software testing and game development and received answers of 38 professionals discussing differences between testing a computer game and a general software, and identified important aspects to be observed by practitioners in the process of planning, performing and reporting tests in this context. Conclusion. Considering computer games, software testing must focus not only on the common aspects of a general software, but also, track and investigate issues that could be related to game balance, game physics and entertainment related-aspects to guarantee the quality of computer games and a successful testing process.

研究の動機と目的

• 業界の実務家が認識する、コンピュータゲーム開発におけるソフトウェアテストの具体的な課題を特定・分析すること。
• なぜ一般的なソフトウェアテスト手法がゲーム開発の文脈ではしばしば不十分に終わるのかを理解すること。
• ゲームプレイのバランスや現実性といった、ゲーム固有の非機能的品質特性がテストに与える影響を明らかにすること。
• テストライフサイクルにゲーム固有の品質次元を統合することで、テスト手法の改善を図るフレームワークを提言すること。
• 実務家からのインサイトを基盤に、一般のソフトウェアテスト手法とゲーム開発の独自の要件とのギャップを埋めること。

提案手法

• Stack Overflow、Software Engineering Stack Exchange、GameDev Stack Exchange の3つのQ&Aコミュニティから得た70通以上のメッセージを対象とした定性的分析を組み合わせた混合研究手法を実施した。
• ゲーム開発およびテスト経験を持つ38名のソフトウェア専門家を対象にアンケートを実施し、テスト手法や課題に関するインサイトを収集した。
• テーマ的分析を用いて、一般のソフトウェアテストとは異なるゲームテストにおける繰り返しパターンや独自の懸念事項を同定した。
• ゲームプロジェクトにおける自動化の限界、テスト設計、レポート作成に関する実務家の意見を収集・分析した。
• 非機能的テスト次元（ゲームバランス、物理的挙動、プレイヤー体験など）に重点を置いた概念的モデルに統合した。
• ソフトウェアテストおよびゲーム開発に関する既存の文献と照合することで、研究結果の妥当性を検証した。

実験結果

リサーチクエスチョン

• RQ1 実務家視点から見た場合、コンピュータゲームのテストと汎用ソフトウェアのテストの主な違いは何ですか？
• RQ2 なぜソフトウェアテスト専門家はゲーム開発において自動テスト手法を採用をためらうのでしょうか？
• RQ3 機能性を超えた非機能的品質特性の中で、コンピュータゲームの品質を評価するために最も重要なものは何ですか？
• RQ4 バランス、物理的挙動、エンターテインメント価値といったゲーム固有の要因は、テスト計画および実行にどのように影響を与えますか？
• RQ5 ゲームプレイやユーザー体験に関連する問題のレポートおよびトラッキングにおいて、テスト担当者が直面する独自の課題は何ですか？

主な発見

• 実務家は、機能的な正しさを超えて、ゲームバランス、物理的挙動、プレイヤーの関与度といった非機能的側面の評価がゲームテストにおいて不可欠であると一貫して強調した。これらは一般的なソフトウェアテストでは通常優先されない。
• ゲームデザインの変動性が高く、ゲームメカニクスやコンテンツが頻繁に変更されるため、自動テストはしばしば避けられる。
• ゲーム開発におけるテストの大部分は、特に初期開発段階では、スクリプト化されたまたは自動化されたテストケースよりも探索的・手動テストに集中している。
• ゲーム開発におけるテストレポートには、楽しさ、挑戦性、没入感といった主観的評価が頻繁に含まれるが、これらは測定が困難であるが品質に不可欠である。
• 実務家が高優先度のテスト懸念として頻繁に挙げるのは、ハックのしやすさ、進行のペース、AIの挙動といったゲーム固有の問題である。
• ゲーム開発の動的で創造的かつ体験的な性質を的確に扱える、現在のテストツールおよび手法には著しいギャップがある。