[논문 리뷰] Training a network to attend like human drivers saves it from common but misleading loss functions

Ye Xia, Danqing Zhang외 4명|arXiv (Cornell University)|2017. 11. 17.

Visual Attention and Saliency Detection인용 수 8

한 줄 요약

이 논문은 단안 후면 카메라 영상에서 인간 운전사의 주의를 예측하는 새로운 FCN-ConvLSTM 모델을 제안하며, 인간처럼 주의를 기울이는 방식을 학습함으로써 기존 최고 성능(SOTA)을 초월한다. 모델은 주의의 중요도가 동일하지 않은 프레임이 존재하는 패aradox를 규명하며, 이는 드라이빙 데이터로 AlexNet을 미세조정할 경우 보행자 검출 성능이 악화되는 데 기인한다. 이를 해결하기 위해 인간의 주의 데이터를 반영한 비균일한 프레임 샘플링 기법과 적응형 가중치를 도입함으로써 학습 효율성과 성능을 향상시켰다.

ABSTRACT

We proposed a novel FCN-ConvLSTM model to predict multi-focal human driver's attention merely from monocular dash camera videos. Our model has surpassed the state-of-the-art performance and demonstrated sophisticated behaviors such as watching out for a driver exiting from a parked car. In addition, we have demonstrated a surprising paradox: fine-tuning AlexNet on a largescale driving dataset degraded its ability to register pedestrians. This is due to the fact that the commonly practiced training paradigm has failed to reflect the different importance levels of the frames of the driving video datasets. As a solution, we propose to unequally sample the learning frames at appropriate probabilities and introduced a way of using human gaze to determine the sampling weights. We demonstrated the effectiveness of this proposal in human driver attention prediction, which we believe can also be generalized to other driving-related machine learning tasks.

연구 동기 및 목표

• 단안 후면 카메라 영상에서 인간 운전사의 주의를 정확하게 예측할 수 있는 딥러닝 모델을 개발하는 것.
• 표준 훈련 방식이 보행자 검출과 같은 핵심 작업의 성능을 떨어뜨리는 패러독스를 해결하는 것.
• 드라이빙 영상에서 프레임 중요도가 균일하지 않음을 규명하며, 훈련 과정에서 동일한 샘플링을 가정하는 것에 도전하는 것.
• 프레임 중요도를 반영하기 위해 인간의 주의 데이터를 기반으로 가중치가 부여된 프레임 샘플링 전략을 제안하는 것.
• 이 샘플링 전략을 다른 드라이빙 연관 기계학습 작업으로 일반화하여 성능 향상에 기여하는 것.

제안 방법

• 영상 입력에서 운전사 주의의 시공간 역동성을 모델링하기 위해 FCN-ConvLSTM 아키텍처를 제안한다.
• 프레임 중요도를 반영하기 위해 인간의 주의 데이터에 기반한 비균일한 프레임 샘플링 전략을 도입한다.
• 인간의 주의 주석을 활용해 샘플링 가중치를 계산하며, 주의 집중도가 높은 프레임을 우선순위로 지정한다.
• 이러한 가중치가 부여된 샘플을 사용해 모델을 훈련함으로써 보행자 횡단과 같은 중요한 시각적 이벤트를 더 잘 포착한다.
• 프레임의 상대적 중요도를 반영한 손실 함수를 활용해 주의 집중도가 낮은 프레임에서 유도되는 오해의 신호를 줄인다.
• 대규모 드라이빙 데이터셋에서 방법을 검증하여 주의 예측 성능 향상과 강건성을 입증한다.

실험 결과

연구 질문

• RQ1 왜 대규모 드라이빙 데이터셋으로 AlexNet을 미세조정하면 보행자 검출 능력이 떨어지는가?
• RQ2 드라이빙 영상에서 프레임 중요도가 비균일한 것이 표준 훈련 철학에 어떤 영향을 미치는가?
• RQ3 인간의 주의 데이터를 활용해 최적의 프레임 샘플링 확률을 정의할 수 있는가?
• RQ4 눈동자 기반의 비균일 샘플링 전략이 균일 샘플링 대비 주의 예측 성능 향상에 기여하는가?
• RQ5 이 샘플링 전략은 다른 드라이빙 연관 기계학습 작업으로 일반화될 수 있는가?

주요 결과

• 대규모 드라이빙 데이터셋으로 AlexNet을 미세조정한 결과 보행자 검출 성능에 명백한 하락이 발생하여, 표준 훈련 방식에 심각한 결함이 있음을 드러냈다.
• 인간의 주의 데이터에 기반한 비균일한 프레임 샘플링 전략이 균일 샘플링 대비 주의 예측 성능을 크게 향상시켰다.
• 모델은 주차된 차량에서 나와 나오는 차량을 감시하는 복잡한 운전 행동을 성공적으로 포착하여 고수준의 주의 모델링 능력을 보였다.
• 눈동자 가중치가 부여된 샘플링 접근 방식은 낮은 주의 집중도의 프레임 영향을 줄여 훈련 중 오해의 신호를 최소화했다.
• 이 방법은 일반화 잠재력을 보였으며, 자율 주행 분야의 다른 시각 작업에 적용 가능성을 시사했다.
• FCN-ConvLSTM 모델은 기준 데이터셋에서 인간 운전사 주의 예측 분야에서 최고 성능(SOTA)을 달성했다.