[論文レビュー] Co-Creative Level Design via Machine Learning

Matthew Guzdial, Nicholas Liao+1 more|arXiv (Cornell University)|Sep 25, 2018

Artificial Intelligence in Games参考文献 13被引用数 4

ひとこと要約

本論文は、人間のデザイナーと機械学習エージェントが共同でゲームステージを生成する共同創造的レベル設計フレームワークを提案する。既存のPLGML手法が共同創造に不十分であることを示し、『エピソード型』および『連続型』というアクティブラーニングの適応を導入。エピソード型微調整により、平均でユーザー満足度が3%向上した一方、連続型ラーニングはユーザーの変動が大きいため失敗した。

ABSTRACT

Procedural Level Generation via Machine Learning (PLGML), the study of generating game levels with machine learning, has received a large amount of recent academic attention. For certain measures these approaches have shown success at replicating the quality of existing game levels. However, it is unclear the extent to which they might benefit human designers. In this paper we present a framework for co-creative level design with a PLGML agent. In support of this framework we present results from a user study and results from a comparative study of PLGML approaches.

研究の動機と目的

• 人間とAIの共同作業が求められる共同創造的設計における、プロシージャルレベル生成（PLGML）のギャップを埋める。これは静的コンテンツ生成を超えるものである。
• 既存のPLGMLアプローチが実際の共同創造的レベル設計を効果的に支援できるかどうかを調査する。
• 共同創造的PLGMLが、単なる静的ゲームステージのコーパスではなく、共同創造のデータセットまたはその近似値を用いた学習を必要とすることを実証する。
• アクティブラーニング戦略が、個々の人間デザイナーの好みにPLGMLエージェントを適応させる能力に与える効果を評価する。
• ユーザーの設計スタイルが広範に異なるため、一般化が困難であり、共同創造システムでは個別化された適応が不可欠であるという証拠を提供する。

提案手法

• Markov Chain、Bayesian Network、LSTMの3つの既存PLGMLモデルを、反復的でターンベースのAIパートナーに変換し、共同創造的レベルエディタインターフェースに統合した。
• 公開済みのSuper Mario Bros.レベルエディタを用いたユーザースタディを実施。ターン単位での追加により、リアルタイムでの人間-AI協働を可能にした。
• アクティブラーニングの2つのバリエーションを設計：『エピソード型』（ユーザーのセッションごとに再訓練）と『連続型』（複数ユーザーにわたる累積的重み更新）。
• レベルクリア度とデザイン品質指標に基づく報酬信号を用いて、人間-AI相互作用のシミュレーテッドデータセット上でエージェントを学習させた。
• バックエンドのログ記録により、すべての人間およびAIの行動を追跡。エージェントのパフォーマンスとユーザー満足度の正確な評価を可能にした。
• AIパートナ−がユーザー行動に適応するシミュレーテッド相互作用環境を用いてエージェントを評価。パフォーマンスは最大報酬の百分率で測定した。

実験結果

リサーチクエスチョン

• RQ1 既存の機械学習を用いたプロシージャルレベル生成（PLGML）手法は、人間デザイナーとの共同創造的レベル設計を効果的に支援できるか？
• RQ2 共同創造的PLGMLシステムにおいて、ユーザーの設計スタイルが多様すぎて一般化が困難である程度はどの程度か？
• RQ3 アクティブラーニングは、PLGMLエージェントが個々の人間デザイナーに適応する能力を向上させるか？
• RQ4 エピソード型再訓練（ユーザーごと）は、累積的学習（連続的）よりも、多様なユーザーの好みに適応する上で効果的か？
• RQ5 完全なユーザースタディを各新しいゲームに対して実施しなくても、近似された共同創造データセットを用いて、効果的な共同創造的PLGMLエージェントを訓練できるか？

主な発見

• 既存のPLGML手法は、個々のユーザーの好みや設計のばらつきに適応できないため、共同創造的レベル設計には不十分である。
• エピソード型アクティブラーニングのバリエーションは、非アクティブベースラインと比較して平均で約3%のユーザー満足度向上を示した。満足度は最大報酬の百分率として測定された。
• 連続型アクティブラーニングのバリエーションは、11名の参加者のうち6名に対して、エピソード型および非アクティブバージョンの両方を下回った。これは、多様なユーザー行動に一般化が難しいことを示している。
• 参加者8番と9番は、アクティブラーニングにより最大10倍以上の報酬向上を示した。これは、十分な相互作用が可能になると、効果的なパーソナライズが達成できることを示唆している。
• 非アクティブベースラインの平均報酬百分率は1.45であったが、エピソード型では1.47に向上し、最終参加者では連続型では-4.62に低下した。
• 結果から、ユーザーの設計パターンは一様に一般化できないほど多様であり、個別化された適応がアクティブラーニングを介して不可欠であることが示唆された。