[논문 리뷰] AGIL: Learning Attention from Human for Visuomotor Tasks

Ruohan Zhang, Zhuode Liu외 5명|arXiv (Cornell University)|2018. 06. 01.

Visual Attention and Saliency Detection참고 문헌 29인용 수 6

한 줄 요약

이 논문은 시각적 운동 이mitation 학습을 향상시키기 위해 눈동자 움직임 데이터에서 인간의 시각적 주의를 모델링하는 AGIL이라는 프레임워크를 제안한다. 눈동자 예측 네트워크를 훈련시켜 그 출력을 정책 네트워크에 주의 지시로 통합함으로써, AGIL은 여러 개의 아케이드 게임에서 행동 예측 정확도와 게임 성능을 크게 향상시켰으며, 표준 이mitation 학습 대비 최대 212.8% 향상된 점수 개선을 기록했다.

ABSTRACT

When intelligent agents learn visuomotor behaviors from human demonstrations, they may benefit from knowing where the human is allocating visual attention, which can be inferred from their gaze. A wealth of information regarding intelligent decision making is conveyed by human gaze allocation; hence, exploiting such information has the potential to improve the agents' performance. With this motivation, we propose the AGIL (Attention Guided Imitation Learning) framework. We collect high-quality human action and gaze data while playing Atari games in a carefully controlled experimental setting. Using these data, we first train a deep neural network that can predict human gaze positions and visual attention with high accuracy (the gaze network) and then train another network to predict human actions (the policy network). Incorporating the learned attention model from the gaze network into the policy network significantly improves the action prediction accuracy and task performance.

연구 동기 및 목표

• 시각적 운동 작업에서 인간의 시각적 주의를 통합함으로써 이mitation 학습을 향상시키는 것.
• 시각적 인지의 우선순위를 반영하는 임무 기반 주의 메커니즘으로서 인간의 눈동자 행동을 모델링하는 것.
• 눈동자 예측이 정책 학습을 안내하도록 하는 프레임워크를 개발하여, 에이전트가 인간 교사의 내부 의사결정 상태를 더 잘 추론할 수 있도록 하는 것.
• 주의 지도형 이mitation 학습이 표준 행동 클로닝보다 더 높은 정확도와 성능을 낼 수 있음을 입증하는 것.
• 시각적 운동 학습 연구를 위해 사용 가능한 공개 데이터셋(인간의 눈동자와 행동 쌍)을 제공하는 것.

제안 방법

• 아케이드 게임 플레이 중 고속 눈동자 추적기를 사용하여 고품질의 인간 눈동자 및 행동 데이터를 수집한다.
• 원시 게임 프레임에서 인간의 눈동자 위치와 시각적 주의를 고정밀도로 예측할 수 있도록 딥 네트워크(눈동자 네트워크)를 훈련시킨다.
• 눈동자 네트워크의 출력에서 추출한 주의 특징을 사용하여, 지도 학습을 통해 인간 행동을 예측하는 정책 네트워크를 훈련시킨다.
• 눈동자 위치에 집중하여 생성된 시력 중심 이미지 표현을 사용하여 인간과 유사한 시각적 인지 방식을 시뮬레이션하고 정책 네트워크를 지도한다.
• 눈동자 네트워크의 주의 맵을 정책 네트워크에 공간적 주의 모듈로 통합하여 임무 관련 시각적 특징을 강조한다.
• 여러 아케이드 게임에서 행동 일치 정확도와 최종 게임 점수를 사용하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 인간의 눈동자 데이터는 시각적 운동 작업에서 임무 기반 시각적 주의를 효과적으로 모델링하는 데 사용될 수 있는가?
• RQ2 학습된 인간 주의 모델을 통합함으로써 이mitation 학습 에이전트의 성능이 향상되는가?
• RQ3 행동 예측 정확도와 게임 성능 측면에서 주의 지도형 이mitation 학습은 표준 행동 클로닝에 비해 어떻게 비교되는가?
• RQ4 다양한 시각적 상태에서의 모호함, 예를 들어 서로 유사한 목표를 구분하는 데 주의 기반 접근이 얼마나 기여하는가?
• RQ5 종합적인 인지적 요구가 높고 실시간으로 작동하는 시각적 운동 작업에서, 엔드 투 엔드 딥 러닝 모델이 인간의 눈동자 위치를 정확하게 예측할 수 있는가?

주요 결과

• AGIL은 동일한 데이터셋을 사용한 표준 이mitation 학습 대비 평균 게임 점수에서 212.8% 향상되었으며, Seaquest에서는 788.9점 대비 252.2점으로 가장 큰 향상을 기록했다.
• 눈동자 네트워크는 높은 정확도로 인간의 눈동자 위치를 예측하여 생물학적으로 타당한 시력 중심 이미지를 생성할 수 있었으며, 이는 인간의 시각적 인지 방식을 반영했다.
• MsPacman과 Seaquest와 같이 여러 개의 유사한 목표가 존재하는 게임에서는, 주의 지도형 접근이 눈동자 기반 정보를 바탕으로 정확한 목표를 식별할 수 있었고, 표준 컨볼루션 네트워크는 공간 불변성 때문에 이를 수행할 수 없었다.
• 눈동자 주의 메커니즘이 다수의 임무 관련 객체가 존재할 경우 행동의 모호함을 해소하는 데 기여하여, 플레이어 캐릭터의 왼쪽이나 위에 있는 적을 정확히 구분할 수 있도록 도왔다.
• Centipede와 Riverraid와 같은 게임에서 AGIL은 2억 개의 샘플로 훈련된 깊이 강화 학습 네트워크(DQN)조차도 앞서는 성능을 보였으며, 이는 샘플 효율성 향상의 증거였다.
• 이 프레임워크는 인간의 시각적 주의를 모델링함으로써 특히 다수의 객체가 존재하는 복잡한 환경에서 이mitation 학습을 크게 향상시킬 수 있음을 입증했다.