[논문 리뷰] Periphery-Fovea Multi-Resolution Driving Model guided by Human Attention

Ye Xia, Jinkyu Kim외 3명|arXiv (Cornell University)|2019. 03. 24.

Video Surveillance and Tracking Methods참고 문헌 20인용 수 5

한 줄 요약

이 논문은 인간 시각의 구조를 모방하기 위해 저해상도 주변시 입력과 예측된 인간 시선에 의해 유도되는 고해상도 중심시 입력을 사용하는 주변-중심 다중 해상도 주행 모델을 제안한다. 동일한 FLOP 예산 하에 단일 해상도 모델 대비 훨씬 높은 주행 정확도를 달성하며, 특히 보행자와 관련된 위기 상황에서 두드러진 성능 향상을 보이며, 인간의 시선 감독이 고위험 주행 시나리오에서 성능 향상에 기여함을 입증한다.

ABSTRACT

Inspired by human vision, we propose a new periphery-fovea multi-resolution driving model that predicts vehicle speed from dash camera videos. The peripheral vision module of the model processes the full video frames in low resolution. Its foveal vision module selects sub-regions and uses high-resolution input from those regions to improve its driving performance. We train the fovea selection module with supervision from driver gaze. We show that adding high-resolution input from predicted human driver gaze locations significantly improves the driving accuracy of the model. Our periphery-fovea multi-resolution model outperforms a uni-resolution periphery-only model that has the same amount of floating-point operations. More importantly, we demonstrate that our driving model achieves a significantly higher performance gain in pedestrian-involved critical situations than in other non-critical situations.

연구 동기 및 목표

• 주변 저해상도 및 중심 고해상도 처리를 포함하는 인간 시각의 다중 해상도 구조를 모방하는 주행 모델을 개발하는 것.
• 강화 학습에 의존하는 대신 예측된 인간의 시선을 사용하여 중심시 시각을 중요한 영역으로 유도함으로써 주행 성능을 향상시키는 것.
• 인간의 시선을 통합함으로써 모델 정확도가 향상되는지 평가하는 것, 특히 보행자 출현과 같은 위기 상황에서의 성능 향상 여부를 확인하는 것.
• 동일한 계산 비용(연산량, FLOPs) 조건 하에서 다중 해상도 중심-주변 모델과 단일 해상도 주변만 모델 간의 성능을 비교하는 것.

제안 방법

• 모델은 인간 운전사의 시선 위치를 예측하기 위해 저해상도 전체 프레임 입력을 주변시로 사용하는 시선 예측 헤드를 활용한다.
• 예측된 시선 위치에서 고해상도 이미지 패치를 추출하여 국소적인 세부 정보 처리를 위한 중심시 입력으로 활용한다.
• 주변시 및 중심시 특징를 융합하여 공유 플래너에 입력하여 차량 속도를 예측하며, 중심시 선택은 실제 운전사의 시선 데이터로 감독된다.
• 모델은 속도 예측 오차를 최소화하는 손실 함수를 사용하여 엔드 투 엔드로 훈련되며, 시선 예측 헤드는 인간의 시선 애너테이션을 사용하여 훈련된다.
• 성능 평가에는 테스트 세트에서 평균 절대 오차(MAE)를 사용하며, 비디오 프레임 간 시간적 상관관계를 고려하기 위해 순열 검정을 통해 통계적 유의성을 평가한다.
• 다중 해상도 모델와 동일한 FLOP 수준을 확보하기 위해 단일 해상도 주변만 모델을 기준선으로 구성하여 공정한 비교를 가능하게 한다.

실험 결과

연구 질문

• RQ1 예측된 인간의 시선에 의해 유도되는 다중 해상도 주행 모델이 동일한 계산 비용 하에 단일 해상도 주변만 모델보다 더 높은 정확도를 달성할 수 있는가?
• RQ2 보행자와 관련된 위기 상황과 같은 비위기 상황에 비해 인간의 시선을 통합함으로써 모델 성능 향상이 더 두드러지는가?
• RQ3 다양한 길이의 비디오 세그먼트에서 중심-주변 모델의 성능이 중간 해상도 주변만 모델과 비교해 어떻게 다를까?
• RQ4 데이터셋 내 텍스트 기반의 긴급성 주석에 따라 고위험 상황에서 중심시 시각의 성능 향상이 더 두드러지는가?

주요 결과

• 동일한 FLOP 예산 하에서 주변-중심 다중 해상도 모델은 단일 해상도 주변만 모델보다 유의미하게 낮은 예측 오차를 기록하여 효율성과 정확도 향상을 입증한다.
• 보행자와 관련된 위기 상황에서 통계적으로 유의미한 성능 향상(p = 0.002)을 보이며, 비위기 상황 대비 더 큰 오차 감소 효과를 보였다.
• 중간 해상도 주변만 모델의 예측 오차는 비디오 세그먼트 길이가 길어질수록 점차 증가하는 반면, 다중 해상도 모델은 모든 세그먼트 길이에서 안정적이고 낮은 오차를 유지했다.
• 모든 테스트된 비디오 길이에서 동일한 FLOP 사용량에도 불구하고, 평균 절대 오차(MAE)가 기준선보다 일관되게 낮게 유지되었다.
• 고위험 상황에서 중심시 시각의 성능 향상이 가장 두드러졌으며, 이는 인간의 시선 유도가 위기 상황에서의 의사결정을 향상시킨다는 것을 시사한다.
• 저해상도 입력을 사용한 시선 예측은 실시간 추론의 효율성을 유지하면서도 중요한 영역에서 고정밀 중심시 처리를 가능하게 한다.