[논문 리뷰] Machine versus Human Attention in Deep Reinforcement Learning Tasks

Sihang Guo, Ruohan Zhang외 5명|arXiv (Cornell University)|2020. 10. 29.

Neural dynamics and brain function인용 수 8

한 줄 요약

이 논문은 딥 강화학습(DRL) 에이전트와 인간 전문가가 아케이드 게임을 플레이하는 동안 시각적 주의를 분석하여, DRL 에이전트의 시각적 주의 패턴이 인간과 얼마나 유사한지를 비교한다. 특히 최적의 초모수 설정에서 DRL 에이전트가 인간과 유사한 주의 패턴을 학습함을 발견하였으며, 주의의 불일치가 성능 격차를 설명함을 규명하였다. 이는 시각운동 작업에서 에이전트의 해석 가능성과 인간-AI 정렬을 향상시키는 데 통찰을 제공한다.

ABSTRACT

Deep reinforcement learning (RL) algorithms are powerful tools for solving visuomotor decision tasks. However, the trained models are often difficult to interpret, because they are represented as end-to-end deep neural networks. In this paper, we shed light on the inner workings of such trained models by analyzing the pixels that they attend to during task execution, and comparing them with the pixels attended to by humans executing the same tasks. To this end, we investigate the following two questions that, to the best of our knowledge, have not been previously studied. 1) How similar are the visual representations learned by RL agents and humans when performing the same task? and, 2) How do similarities and differences in these learned representations explain RL agents' performance on these tasks? Specifically, we compare the saliency maps of RL agents against visual attention models of human experts when learning to play Atari games. Further, we analyze how hyperparameters of the deep RL algorithm affect the learned representations and saliency maps of the trained agents. The insights provided have the potential to inform novel algorithms for closing the performance gap between human experts and RL agents.

연구 동기 및 목표

• 동일한 시각운동 작업을 수행할 때 DRL 에이전트가 학습한 시각적 표현과 인간의 것이 얼마나 유사한지 조사한다.
• 학습된 주의 패턴의 차이가 DRL 에이전트의 아케이드 게임 성능에 어떤 영향을 미치는지 이해한다.
• 인간 전문가의 시선 데이터를 기준으로 삼아 DRL 에이전트의 의사결정 해석 가능성 평가 및 향상에 기여한다.
• 특히 할인 인자와 네트워크 아키텍처를 포함한 DRL 초모수의 영향을 분석하여 인간 전문가와의 주의 맵 유사도에 미치는 영향을 분석한다.
• 에이전트가 인간의 주의 패턴에서 벗어나는 실패 케이스에 대한 시각적 및 정량적 진단 도구를 제공하여 알고리즘 개선을 위한 타겟팅된 접근을 가능하게 한다.

제안 방법

• 아케이드 게임 플레이 중 인간의 시각적 주의 데이터를 눈 추적 장치를 사용해 수집하여 인간 주의 기준 기준을 구축한다.
• 기울기 기반 방법(예: Grad-CAM)을 사용해 DRL 에이전트의 시각적 주의를 시각화하기 위해 손실 함수의 기울기를 기반으로 한 시각적 중요도 맵(시각적 주의 맵)을 생성한다.
• 공간 상관관계 측정 지표(예: 상관계수, AUC-PR)를 사용해 DRL 에이전트의 시각적 주의 맵와 인간의 시선 분포를 정렬하고 비교한다.
• 할인 인자와 탐색 스케줄링을 포함한 다양한 초모수를 설정하여, 듀얼 DQN 및 레인보우 DQN 아키텍처를 사용해 여러 아케이드 게임에서 DRL 에이전트를 훈련시킨다.
• 초모수의 영향을 평가하기 위해 제거 분석(Ablation study)을 수행하여 주의 맵 유사도와 작업 성능에 미치는 영향을 분석한다.
• 에이전트의 주의가 인간 전문가와 크게 다를 수 있는 새로운 또는 곤란한 게임 상태에서 실패 분석을 수행하여, 열악한 결정의 잠재적 원인을 규명한다.

실험 결과

연구 질문

• RQ1 아케이드 게임 플레이 중 DRL 에이전트와 인간 전문가가 주의를 기울이는 시각적 특징은 얼마나 유사한가?
• RQ2 에이전트와 인간 간의 주의 맵 차이가 시각운동 작업의 성능 격차를 어느 정도 설명하는가?
• RQ3 특히 할인 인자가 DRL 초모수로서 에이전트와 인간의 주의 패턴 유사도에 어떤 영향을 미치는가?
• RQ4 어떤 게임 상태나 상황에서 DRL 에이전트가 인간 전문가와 상당히 다를 수 있는 주의 패턴을 보이며, 이러한 이질성은 에이전트의 실패 원인을 어떻게 드러내는가?
• RQ5 인간의 주의 패턴은 DRL 에이전트가 더 인간 유사하고 강건한 시각적 표현을 향해 나아가도록 이끄는 신뢰할 수 있는 지도 신호로 기능할 수 있는가?

주요 결과

• 최적의 초모수로 훈련된 DRL 에이전트는 인간의 시각적 주의와 유의미하게 상관관계가 있으며, 특히 물체 추적과 공간적 추론이 필요한 작업에서 두드러진다.
• 에이전트와 인간의 주의 간 상관계수는 훈련 시간이 증가함에 따라 증가하여 약 5120만 훈련 스텝에서 최고치에 도달함을 확인하였으며, 이는 점진적인 인간 인지 패턴과의 일치를 의미한다.
• 더 높은 할인 인자를 가진 에이전트일수록 인간 전문가와 유사한 주의 맵을 개발하는 경향이 있어, 장기적 계획 수준이 높을수록 시각적 인지 일치도 향상됨을 시사한다.
• 인간 전문가의 주의 집중 영역는 DRL 에이전트보다 더 적고, 더 작업 관련성이 높은 영역에 국한되어 있으며, DRL 에이전트는 종종 넓은 영역이나 관련성이 낮은 영역에 주의를 기울이는 경향이 있어 현재의 에이전트에서 과잉 주의 문제의 가능성을 시사한다.
• 에이전트의 주의가 인간 전문가와 다를 경우가 자주 발생하는 복잡하거나 희귀한 게임 상태에서는 장거리 의존성 또는 모호한 시각적 신호를 처리하는 데 어려움을 겪는다는 점을 확인하였으며, 이는 에이전트의 실패 원인을 규명하는 데 기여한다.
• 본 연구는 인간의 시선 데이터가 특히 분포 외부 또는 희귀한 상황에서 DRL 에이전트의 해석 가능성과 강건성을 평가하고 향상시키는 데 강력한 기준이 될 수 있음을 입증하였다.