[논문 리뷰] Atari-HEAD: Atari Human Eye-Tracking and Demonstration Dataset

Ruohan Zhang, Calen Walshe외 7명|arXiv (Cornell University)|2019. 03. 15.

Gaze Tracking and Assistive Technology참고 문헌 42인용 수 14

한 줄 요약

이 논문은 20개의 Atari 2600 게임에서 수집한 인간의 시선 추적 및 시연 데이터를 포함하는 대규모 데이터셋인 Atari-HEAD를 소개한다. 인간의 주의집중(시선)을 정책 네트워크에 통합하여 애니메이션 학습 성능을 향상시키는 시선 예측 네트워크를 제안하였으며, 동일한 벤치마크 게임에서 표준 행동 복제보다 평균 점수를 115.26% 향상시켰다.

ABSTRACT

Large-scale public datasets have been shown to benefit research in multiple areas of modern artificial intelligence. For decision-making research that requires human data, high-quality datasets serve as important benchmarks to facilitate the development of new methods by providing a common reproducible standard. Many human decision-making tasks require visual attention to obtain high levels of performance. Therefore, measuring eye movements can provide a rich source of information about the strategies that humans use to solve decision-making tasks. Here, we provide a large-scale, high-quality dataset of human actions with simultaneously recorded eye movements while humans play Atari video games. The dataset consists of 117 hours of gameplay data from a diverse set of 20 games, with 8 million action demonstrations and 328 million gaze samples. We introduce a novel form of gameplay, in which the human plays in a semi-frame-by-frame manner. This leads to near-optimal game decisions and game scores that are comparable or better than known human records. We demonstrate the usefulness of the dataset through two simple applications: predicting human gaze and imitating human demonstrated actions. The quality of the data leads to promising results in both tasks. Moreover, using a learned human gaze model to inform imitation learning leads to an 115\% increase in game performance. We interpret these results as highlighting the importance of incorporating human visual attention in models of decision making and demonstrating the value of the current dataset to the research community. We hope that the scale and quality of this dataset can provide more opportunities to researchers in the areas of visual attention, imitation learning, and reinforcement learning.

연구 동기 및 목표

• 다양한 시각적 동역학과 작업 구조를 가진 다양한 Atari 2600 게임에서 고품질의 인간 시선 및 행동 데이터를 수집하기 위해.
• 복잡하고 시각적으로 rich한 환경에서 인간의 시각적 주의집중(gaze)이 의사결정과 어떻게 관련되어 있는지 연구하기 위해.
• 학습된 인간의 시선 패턴을 정책 네트워크에 통합하여 애니메이션 학습 성능을 향상시키기 위해.
• 밀도 높은 보상 환경과 희소한 보상 환경에서 주의집중 기반 애니메이션 학습이 표준 행동 복제보다 우수한지 평가하기 위해.

제안 방법

• 게임 플레이 중 눈운동 추적 하드웨어를 사용하여 20개의 Atari 2600 게임에서 인간 플레이어의 시선 및 행동 데이터를 수집하였다.
• 스택된 회색조 프레임에서 시선 집중도 지도를 예측하기 위해 각 게임별로 전용 3개의 컨볼루션 및 3개의 디컨볼루션 네트워크를 훈련시켰다.
• 예측된 시선 집중도 지도를 이중 브랜치 정책 네트워크의 하나의 모odaliti로 통합: 하나의 브랜치는 원본 이미지를 처리하고, 다른 브랜치는 예측된 시선으로 마스킹된 이미지를 처리한다.
• 양 브랜치의 특징를 평균화하여 행동 확률을 생성함으로써 주의집중 인식 애니메이션 학습(AGIL)을 가능하게 하였다.
• 온도 파rameter η = 1을 사용한 볼츠만 탐색 정책을 적용하여 네트워크 출력 확률 기반으로 행동을 샘플링하였다.
• 각 게임당 500회 에피소드 동안 평균 게임 점수를 사용하여 성능을 평가하였으며, 에피소드당 108K 프레임 제한을 두었다.

실험 결과

연구 질문

• RQ1 다양한 Atari 2600 게임에서 딥 네트워크가 인간의 시선 패턴을 얼마나 정확하게 예측할 수 있는가?
• RQ2 예측된 인간의 시선을 통합했을 때 표준 행동 복제에 비해 애니메이션 학습 성능이 얼마나 향상되는가?
• RQ3 주의집중 기반 애니메이션 학습은 다양한 시각적 복잡도와 보상 희소성의 게임 간에 일반화되는가?
• RQ4 다른 데이터셋이나 아키텍처를 사용한 이전 연구와 비교해 볼 때, 시선 보강 애니메이션 학습의 성능은 어떠한가?

주요 결과

• 시선 예측 네트워크는 모든 20개 게임에서 높은 정확도를 기록하였으며, AUC > 0.94 및 NSS > 4.0를 달성하여 무작위 기준(AUC = 0.500)과 바닥면 주의 모델보다 뚜렷이 뛰어났다.
• AGIL 에이전트는 표준 행동 복제(AtariHead-IL) 대비 평균적으로 115.26% 향상된 평균 게임 점수를 기록하였으며, 점수 향상은 +0.003% (freeway)에서 +112.33% (alien)까지 다양했다.
• Montezuma’s Revenge와 Ms. Pac-Man와 같은 게임에서 AGIL는 각각 88.8%와 67.8%의 성공률을 기록하였으며, 표준 IL(86.6% 및 55.5%)보다 뚜렷이 뛰어났다.
• 시선 보강 정책는 20개 게임 중 18개에서 성능 향상을 보였으며, 특히 보상이 희소한 게임에서 가장 큰 향상을 보였다. 예를 들어 Seaquest(+309.05%)와 Frostbite(+52.05%)에서 두드러진 성과를 보였다.
• 모든 게임에서 평균 AUC는 0.973를 기록하였으며, 개별 점수는 Ms. Pac-Man(0.945)에서부터 Enduro(0.988)까지 변동하였다.
• Road Runner와 Space Invaders와 같은 게임에서 AGIL 에이전트는 각각 42,539.4점과 248.2점을 기록하여 Kurin-IL 및 Hester-IL 기준선을 모두 초월하였다.