[논문 리뷰] STAR-RT: Visual attention for real-time video game playing

Iuliia Kotseruba, John K. Tsotsos|arXiv (Cornell University)|2017. 11. 26.

Digital Image Processing Techniques참고 문헌 9인용 수 3

한 줄 요약

STAR-RT는 첫 번째 실시간 구현인 STAR 인지 아키텍처를 제시하며, 시각적 주의와 인지 프로그램을 사용하여 비공개 비디오 게임을 플레이하기 위한 시각 시스템을 제어한다. 오직 시각적 입력만을 사용하여 인간 수준의 성능을 실시간으로 달성하며, 이는 복잡하고 동적인 시각 작업에 대한 프레임워크의 실현 가능성을 입증한다.

ABSTRACT

In this paper we present STAR-RT - the first working prototype of Selective Tuning Attention Reference (STAR) model and Cognitive Programs (CPs). The Selective Tuning (ST) model received substantial support through psychological and neurophysiological experiments. The STAR framework expands ST and applies it to practical visual tasks. In order to do so, similarly to many cognitive architectures, STAR combines the visual hierarchy (based on ST) with the executive controller, working and short-term memory components and fixation controller. CPs in turn enable the communication among all these elements for visual task execution. To test the relevance of the system in a realistic context, we implemented the necessary components of STAR and designed CPs for playing two closed-source video games - Canabaltand Robot Unicorn Attack. Since both games run in a browser window, our algorithm has the same amount of information and the same amount of time to react to the events on the screen as a human player would. STAR-RT plays both games in real time using only visual input and achieves scores comparable to human expert players. It thus provides an existence proof for the utility of the particular CP structure and primitives used and the potential for continued experimentation and verification of their utility in broader scenarios.

연구 동기 및 목표

• 생물학적으로 타당한 실시간 시각적 주의 시스템을 개발하여 복잡한 시각 작업을 동적인 환경에서 제어할 수 있도록 한다.
• 선택적 조정(Selecting Tuning, ST)과 인지 프로그램(Cognitive Programs, CPs)을 조합한 STAR 프레임워크의 실용적이고 실제 세계에서의 응용을 검증한다.
• 오직 시각적 입력만을 사용하는 시각 시스템이 실시간 비디오 게임에서 전문 인간 플레이어 수준의 성능을 달성할 수 있음을 입증한다.
• 이론적 시각 주의 모델과 실시간 AI 시스템 간의 격차를 메우며, 동적인 시각적으로 rich한 작업에 적용 가능한 프레임워크를 제공한다.
• 시각 주의, 작업 기억, 작업 지향 처리에 관한 향후 연구를 위한 테스트베드를 제공한다.

제안 방법

• 계층적 시각 시스템에서 상향식 및 하향식 처리를 모두 지원하도록 시각적 주의의 선택적 조정(ST) 모델을 적응시켰다.
• 시각 계층, 작업 기억, 집중 제어기 간의 협력을 담당하는 실행 가능한, 작업 지향적인 루틴으로 인지 프로그램(CPs)을 설계하였다.
• 객체 및 플랫폼 위치를 저장하고 관리하기 위해 작업 작업 기억(tWM)과 시각 작업 기억(vWM)을 포함한 이중 기억 아키텍처를 구현하였다.
• 외부 함수를 사용하여 프레임 간 이동량을 계산하고, 프레임 간 객체를 매칭하며, 동적인 환경에서의 잘못된 긍정 결과를 걸러내었다.
• 인간과 유사한 주의 이동을 시뮬레이션하기 위해 중심시력 및 집중 제어를 적용하여 주의를 관련 관심 영역에 집중시켰다.
• 실시간 제약 조건을 관리하기 위해 단일 스레드 파이프라인에 통합하여 각 프레임을 독립적으로 처리하면서도 프레임 간 상태를 유지하였다.

실험 결과

연구 질문

• RQ1 시각적 주의와 작업 지향 인지 프로그램을 조합한 STAR 인지 아키텍처가 복잡한 비디오 게임에서 실시간 성능을 달성할 수 있는가?
• RQ2 선택적 주의, 작업 기억, 실행 제어의 통합이 게임 엔진에 대한 사전 접근 권한 없이도 자율적 게임 플레이를 가능하게 하는 데 얼마나 효과적인가?
• RQ3 오직 시각적 입력만을 사용할 경우, 시스템의 성능이 인간 전문 플레이어의 성능과 어느 정도 일치하는가?
• RQ4 작업 기억과 주의 조절이 동적인 시각 조건에서 성능 유지에 어떤 역할을 하는가?
• RQ5 실제 카메라 피드에서 발생하는 시각적 잡음(예: 운동 왜곡, 렌즈 왜곡)이 시스템의 강건성과 성능에 어떤 영향을 미치는가?

주요 결과

• STAR-RT는 오직 시각적 입력만을 사용하여 Canabalt과 Robot Unicorn Attack을 실시간으로 플레이하며 인간 전문 플레이어 수준의 점수를 달성하였다.
• 각 프레임을 독립적으로 처리하고 시각적 작업 기억 및 작업 기억의 압축된 상태 기반 표현을 사용함으로써 실시간 성능를 유지하였다.
• 자극 기반 주의(예: AIM)를 제거할 경우 처리 부하와 오류 비율이 크게 증가하여, 이가 입력을 걸러내는 데 핵심적인 역할을 한다는 점을 입증하였다.
• 프레임 간 차이 분석, 객체 매칭, 잘못된 긍정 결과 거르기 등을 통해 동적인 자극을 효과적으로 처리하였으며, 운동 왜곡과 렌즈 왜곡 조건에서도 성능을 유지하였다.
• 시스템은 인간의 집중 패턴과 유사한 행동을 보이며, 인간의 시각적 주의 메커니즘을 생물학적으로 타당하게 모방하고 있음을 시사한다.
• 카메라 기반 입력은 가시광선 간섭 무늬, 운동 왜곡, 가짜 영상 등 심각한 과제를 야기하며, 스크린샷 기반 입력에 비해 성능 저하를 초래한다.