[論文レビュー] STAR-RT: Visual attention for real-time video game playing

Iuliia Kotseruba, John K. Tsotsos|arXiv (Cornell University)|Nov 26, 2017

Digital Image Processing Techniques参考文献 9被引用数 3

ひとこと要約

STAR-RTは、視覚的注意と認知プログラムを用いて、閉鎖型ビデオゲームをプレイするためのビジョンシステムを制御する、最初のリアルタイム実装であるSTAR認知アーキテクチャを提示する。視覚入力のみを用いてリアルタイムで人間並みのパフォーマンスを達成し、複雑で動的な視覚的タスクにおけるフレームワークの実現可能性を示している。

ABSTRACT

In this paper we present STAR-RT - the first working prototype of Selective Tuning Attention Reference (STAR) model and Cognitive Programs (CPs). The Selective Tuning (ST) model received substantial support through psychological and neurophysiological experiments. The STAR framework expands ST and applies it to practical visual tasks. In order to do so, similarly to many cognitive architectures, STAR combines the visual hierarchy (based on ST) with the executive controller, working and short-term memory components and fixation controller. CPs in turn enable the communication among all these elements for visual task execution. To test the relevance of the system in a realistic context, we implemented the necessary components of STAR and designed CPs for playing two closed-source video games - Canabaltand Robot Unicorn Attack. Since both games run in a browser window, our algorithm has the same amount of information and the same amount of time to react to the events on the screen as a human player would. STAR-RT plays both games in real time using only visual input and achieves scores comparable to human expert players. It thus provides an existence proof for the utility of the particular CP structure and primitives used and the potential for continued experimentation and verification of their utility in broader scenarios.

研究の動機と目的

• 生物学的に妥当なリアルタイム視覚的注意システムを開発し、動的な環境における複雑なビジョンタスクを制御すること。
• 選択的チューニング（ST）と認知プログラム（CPs）を組み合わせたSTARフレームワークを、実用的で現実世界の応用事例で検証すること。
• 視覚入力のみを用いたビジョンシステムが、リアルタイムビデオゲームにおいてエキスパート人間プレーヤーと同等のパフォーマンスを達成できることを示すこと。
• 理論的視覚的注意モデルと、動的で視覚的に豊かなタスクに適した実用的でリアルタイムのAIシステムとの間のギャップを埋めること。
• 視覚的注意、作業記憶、タスク指向処理に関する今後の研究のためのテストベッドを提供すること。

提案手法

• 階層的ビジョンシステムにおいてトップダウンおよびボトムアップ処理をサポートするように、視覚的注意の選択的チューニング（ST）モデルを適応させた。
• 視覚階層、作業記憶、固定制御装置を調整するための実行可能でタスク固有のルーチンとして認知プログラム（CPs）を設計した。
• オブジェクトおよびプラットフォームの位置を格納・管理するため、タスク作業記憶（tWM）と視覚作業記憶（vWM）を備えた二重記憶アーキテクチャを実装した。
• 外部関数を用いて、フレーム間の変位を計算し、フレーム間でのオブジェクトの一致を図り、動的シーンにおける誤検出をフィルタリングした。
• ヒトに似た注意移動を模倣するために、焦点化と固定制御を適用し、関心領域に処理を集中させた。
• リアルタイム制約を管理するため、1スレッドのパイプラインに統合し、各フレームを独立して処理しながら、フレーム間で状態を維持した。

実験結果

リサーチクエスチョン

• RQ1 視覚的注意とタスク指向の認知プログラムを組み合わせたSTAR認知アーキテクチャは、複雑なビデオゲームにおけるリアルタイムパフォーマンスを可能にするか？
• RQ2 選択的注意、作業記憶、およびエグゼクティブ制御の統合は、ゲームエンジンへの事前アクセスなしに自律的なゲームプレイを可能にするか？
• RQ3 視覚入力のみを用いた場合、システムのパフォーマンスは人間エキスパートプレーヤーのそれとどの程度一致するか？
• RQ4 作業記憶と注意のモodulationは、動的な視覚的条件下でパフォーマンスを維持するために果たす役割は何か？
• RQ5 実際のカメラ入力からの視覚的アーティファクト（例：ブレ、レンズ歪み）は、システムの頑健性とパフォーマンスにどのような影響を与えるか？

主な発見

• STAR-RTは、視覚入力のみを用いて、CanabaltおよびRobot Unicorn Attackをリアルタイムでプレイし、エキスパート人間プレーヤーと同等のスコアを達成した。
• 各フレームを独立して処理し、視覚的作業記憶およびタスク作業記憶にコンパクトで状態保持型の表現を用いることで、リアルタイムパフォーマンスを維持した。
• サリエンシーに基づく注意（例：AIM）を除去すると、処理負荷と誤検出率が著しく上昇し、入力のフィルタリングにおいてその重要性が明確になった。
• フレーム差分、オブジェクト一致、誤検出の除外を通じて、システムはブレやレンズ歪みが生じる状況でも動的刺激を効果的に処理できた。
• システムはヒトの固定行動に類似した挙動を示し、ヒトの視覚的注意メカニズムを妥当に模倣している可能性を示唆した。
• カメラ入力は、ゴースト化、ブレ、モアレパターンといった顕著な課題を引き起こし、スクリーンショットベースの入力と比較してパフォーマンスを劣化させた。