[논문 리뷰] Human Visual Attention Prediction Boosts Learning & Performance of Autonomous Driving Agents

Alexander Makrigiorgos, Ali Shafti외 3명|arXiv (Cornell University)|2019. 09. 11.

Visual Attention and Saliency Detection참고 문헌 33인용 수 10

한 줄 요약

이 논문은 VR 주행 시뮬레이터에서 눈동자 추적 데이터를 이용해 인간의 시각적 주의를 예측하는 딥 네ural 네트워크를 통합하여 엔드 투 엔드 자율 주행 에이전트를 향상시키는 방법을 제안한다. 원본 이미지와 주의 마스크가 적용된 이미지로 에이전트를 훈련시키며, 특히 双-브랜치 아키텍처를 사용함으로써 표준 모델 대비 제어 신호 예측 오차를 25.5% 감소시켰다. 이는 생물학적으로 영감을 받은 주의 메커니즘을 통해 학습 속도 향상과 성능 향상을 입증한다.

ABSTRACT

Autonomous driving is a multi-task problem requiring a deep understanding of the visual environment. End-to-end autonomous systems have attracted increasing interest as a method of learning to drive without exhaustively programming behaviours for different driving scenarios. When humans drive, they rely on a finely tuned sensory system which enables them to quickly acquire the information they need while filtering unnecessary details. This ability to identify task-specific high-interest regions within an image could be beneficial to autonomous driving agents and machine learning systems in general. To create a system capable of imitating human gaze patterns and visual attention, we collect eye movement data from human drivers in a virtual reality environment. We use this data to train deep neural networks predicting where humans are most likely to look when driving. We then use the outputs of this trained network to selectively mask driving images using a variety of masking techniques. Finally, autonomous driving agents are trained using these masked images as input. Upon comparison, we found that a dual-branch architecture which processes both raw and attention-masked images substantially outperforms all other models, reducing error in control signal predictions by 25.5\% compared to a standard end-to-end model trained only on raw images.

연구 동기 및 목표

• 주행 중 관찰된 인간의 시각적 주의 패턴을 활용하여 엔드 투 엔드 자율 주행 에이전트를 향상시키기 위해.
• 학습된 인간의 시선 예측이 주행 에이전트의 훈련 효율성과 성능 향상에 기여하는지 조사하기 위해.
• 원본, 소프트, 하드, 이중 브랜치와 같은 다양한 주의 통합 전략이 주행 정책 학습에 미치는 영향을 평가하기 위해.
• 인간의 눈동자 움직임에서 유도된 시각적 주목 지도가 주행에 필수적인 작업 관련 시각적 특징을 잘 반영하는지 확인하기 위해.
• 주의 인식 에이전트가 인간의 시각적 우선순위와 일치하는 집중 영역을 투명하게 표시함으로써 해석 가능성 향상 효과를 탐색하기 위해.

제안 방법

• HTC Vive와 SMI 시선 추적 기능을 갖춘 VR 버전의 CARLA 시뮬레이터에서 인간 운전자 243,000 프레임의 눈동자 추적 데이터를 2.7시간 동안 수집하였다.
• 이 데이터를 기반으로 인간의 시각적 주목도를 예측하는 딥 네ural 네트워크를 훈련시켰으며, 정확도 향상을 위해 운전자 의도 감시를 추가한 최고 성능 모델을 확장하였다.
• 훈련된 시선 네트워크에서 유도된 시각적 주목 지도를 생성하고, 소프트(혼합), 하드(블랙아웃), 원본(수정 없음) 세 가지 마스크 기법을 사용해 주행 이미지에 적용하였다.
• 공통 백본 아키텍처를 사용해 다섯 개의 자율 주행 에이전트를 설계 및 훈련시켰다: 기준(원본), 소프트(주의 혼합), 하드(주의 마스크), 이중 브랜치(원본 + 마스크된 입력).
• 훈련 에포크 동안 제어 신호 예측 성능 평가에 주로 평균 절대 오차(MAE)를 사용하였다.
• 일반화 능력과 장기적 성능 향상을 평가하기 위해 테스트 에피소드를 사용해 모델을 평가하였다.

실험 결과

연구 질문

• RQ1 시뮬레이션 주행 환경에서 눈동자 추적을 통해 캡처된 인간의 시각적 주의는 딥 러닝을 통해 정확하게 예측할 수 있는가?
• RQ2 예측된 인간의 시선 패tern을 엔드 투 엔드 주행 에이전트의 입력에 통합할 경우, 학습 속도 향상과 최종 성능 향상에 기여하는가?
• RQ3 소프트 혼합, 하드 마스크, 또는 이중 브랜치 처리와 같은 다양한 주의 통합 전략이 자율 주행 에이전트의 성능에 어떤 영향을 미치는가?
• RQ4 주의 마스크된 이미지로만 훈련된 주행 에이전트가 성능을 유지할 수 있는 정도는 어느 정도이며, 이는 예측된 주목 지도의 정보성 여부를 시사하는가?
• RQ5 주의 인식 에이전트가 인간의 시각적 우선순위와 일치하는 집중 영역을 투명하게 표시함으로써 더 나은 해석 가능성을 달성할 수 있는가?

주요 결과

• 이중 브랜치 에이전트는 원본 이미지만으로 훈련된 표준 엔드 투 엔드 모델 대비 제어 신호 예측에 있어 평균 절대 오차(MAE)를 25.5% 감소시켰다.
• 이중 브랜치 에이전트는 유의미하게 더 빠른 학습 속도를 보였으며, 다른 모델들이 전체 훈련을 마친 후에도 도달하지 못한 60,000개의 훈련 스텝 이내에 낮은 MAE를 달성하였다.
• 소프트 에이전트는 주의 지도를 원본 이미지와 혼합했지만, 원본 에이전트와 비교해 성능 향상이 없었고 오히려 약간 열 劣화되어, 주의 통합의 경우 아키텍처 설계가 매우 중요하다는 것을 시사한다.
• 하드 에이전트는 주의 지도에서 비마스크된 영역만 사용했으며, 원본 에이전트와 거의 동일한 성능을 유지하여, 시선 네트워크가 작업에 핵심적인 시각적 특징을 효과적으로 식별하고 있음을 검증하였다.
• 이중 브랜치 아키텍처는 학습 속도와 최종 성능 양면에서 다른 모든 아키텍처를 능가했으며, 명시적 주의 라우팅이 학습 효율성을 향상시킨다는 것을 입증하였다.
• 결과는 인간의 눈동자 움직임에서 유도된 주목 지도가 시각 운동 제어에 강력한 데이터 기반의 인덕티브 바이어스 역할을 할 수 있으며, 샘플 효율성 향상과 해석 가능성 향상에 기여할 수 있음을 시사한다.