[논문 리뷰] Learning to predict where to look in interactive environments using deep recurrent q-learning

Sajad Mousavi, Michael Schukat외 3명|arXiv (Cornell University)|2016. 12. 17.

Visual Attention and Saliency Detection참고 문헌 25인용 수 26

한 줄 요약

이 논문은 상호작용적인 Atari 2600 게임 환경에서 에이전트가 최적의 제어 동작과 주의 집중 지점을 동시에 학습할 수 있도록 하는 소프트 주의 메커니즘을 통합한 딥 리커런트 Q-학습 프레임워크를 제안한다. 딥 Q-네트워크(DQN)에 소프트 주의를 통합함으로써, 인간의 주의 집중 지점을 예측하는 데 있어 이티-코흐 및 GBVS와 같은 바닥에서부터의 시각적 강조 모델보다 유의미하게 뛰어난 성능을 달성하였으며, 평균 NSS와 ROC 점수는 각각 0.74와 0.70을 기록하였다.

ABSTRACT

Bottom-Up (BU) saliency models do not perform well in complex interactive environments where humans are actively engaged in tasks (e.g., sandwich making and playing the video games). In this paper, we leverage Reinforcement Learning (RL) to highlight task-relevant locations of input frames. We propose a soft attention mechanism combined with the Deep Q-Network (DQN) model to teach an RL agent how to play a game and where to look by focusing on the most pertinent parts of its visual input. Our evaluations on several Atari 2600 games show that the soft attention based model could predict fixation locations significantly better than bottom-up models such as Itti-Kochs saliency and Graph-Based Visual Saliency (GBVS) models.

연구 동기 및 목표

• 작업 요구사항이 주의에 강하게 영향을 미치는 복잡한 상호작용 환경에서 바닥에서부터의 시각적 강조 모델의 한계를 해결하기 위해.
• 동시에 최적의 게임 플레이 정책을 학습하면서 어디를 봐야 할지 학습하는 강화학습 기반 방법을 개발하기 위해.
• 딥 Q-네트워크 아키텍처에 소프트 주의를 통합하여 주의 집중 예측 정확도를 향상시키기 위해.
• 사람이 직접 주석한 주의 집중 데이터를 사용하여 기존의 바닥에서부터의 시각적 강조 모델과의 성능 평가를 수행하기 위해.

제안 방법

• 에이전트가 의사결정 과정에서 작업에 관련된 시각적 영역에 집중할 수 있도록, 딥 Q-네트워크(DQN)에 소프트 주의 메커니즘을 통합하였다.
• 주의 메커니즘은 입력 프레임에 대한 미분 가능하고 주의 가중치가 적용된 표현을 생성하여, 정책 기반 기울기 방법을 통한 엔드 투 엔드 학습을 가능하게 하였다.
• 에이전트는 경험 재생과 타겟 네트워크를 사용한 딥 Q-학습으로 트레이닝되어 Atari 2600 환경에서 학습을 안정화시켰다.
• 공유된 시각 인코더를 사용하여 동일한 프레임워크 내에서 행동 선택(Q-학습)과 주의 집중 지점 예측(소프트 주의)을 동시에 최적화하였다.
• 주의 집중 예측은 공간적 주의 맵에서 가장 높은 활성도를 가진 지점으로 유도되었다.
• 게임 영상 시청 중 피실험자가 클릭한 데이터를 사용하여 주의 집중 예측 성능 평가의 기준이 되는 진실값으로 활용하였다.

실험 결과

연구 질문

• RQ1 강화학습 기반 에이전트는 상호작용적인 비디오 게임 환경에서 인간과 유사한 주의 집중 지점을 예측할 수 있는가?
• RQ2 DQN에 통합된 소프트 주의 메커니즘이 전통적인 바닥에서부터의 시각적 강조 모델에 비해 주의 집중 예측 성능을 어떻게 향상시키는가?
• RQ3 작업 맥락과 목표 지향적 행동이 동적인 시각 환경에서 주의 선택에 얼마나 큰 영향을 미치는가?
• RQ4 행동 정책과 주의 학습을 동시에 수행하는 모델은 별도로 주의를 학습하는 모델보다 성능이 향상되는가?

주요 결과

• 제안된 소프트 주의 기반 DQN 모델은 다섯 종류의 Atari 2600 게임에서 평균 정규화된 스캔패스 시각적 강조(NSS) 점수 0.74와 평균 ROC 곡선 아래 면적(AUC) 0.70을 기록하였으며, 바닥에서부터의 시각적 강조 모델보다 뚜렷하게 뛰어난 성능을 보였다.
• Breakout 게임에서 모델은 NSS 1.326과 AUC 0.787을 기록하였으며, GBVS(NSS: -0.074, AUC: 0.489)와 이티-코흐(NSS: -0.112, AUC: 0.453)보다 유의미하게 높았다.
• Pong 게임(NSS: 0.846, AUC: 0.76)과 Enduro 게임(NSS: 0.699, AUC: 0.689)에서도 뛰어난 성능을 보여 다양한 게임 다이내믹스에 대한 강건성을 입증하였다.
• GBVS와 이티-코흐와 같은 바닥에서부터의 시각적 강조 모델은 성능이 열악하여 NSS 점수는 0 이하이고 AUC 값은 0.5 이하 또는 근접하여 랜덤 수준의 성능을 보였다.
• 모델의 주의 맵은 인간의 주의 집중 지점과 높은 일치도를 보였으며, 시각적 비교를 통해 파란색(예측된 주의 지점)과 빨간색(사람의 주의 지점) 원이 기존 기준 모델보다 더 정확하게 겹쳐지는 것으로 확인되었다.
• 결과적으로, 상호작용적이고 목표 지향적인 환경에서 정확한 주의 집중 예측을 위해서는 강화학습 기반의 태스크 기반 상향식 주의 학습이 필수적임을 입증하였다.