[논문 리뷰] See, Attend and Brake: An Attention-based Saliency Map Prediction Model for End-to-End Driving

Ekrem Aksoy, Ahmet Yazıcı외 1명|arXiv (Cornell University)|2020. 02. 24.

Visual Attention and Saliency Detection참고 문헌 37인용 수 10

한 줄 요약

이 논문은 자율주행을 위한 종단간 주의 기반의 시각적 주목 지도 예측 모델을 제안하며, 이는 시각적 주의와 브레이킹 결정을 통합한다. VGG-16과 ConvLSTM 기반의 운전자 주의 모듈을 사용하며, 학습 가능한 RBF 사전 확률을 적용하여 브레이킹 결정을 안내하는 시각적 주목 지도를 예측한다. 이 모델은 BDD-A에서 AUC=0.540의 성능을 기록했으며, 기존 모델 대비 향상된 성능을 보였지만, 가우시안 사전 확률은 주행 데이터셋에서 실패했다.

ABSTRACT

Visual perception is the most critical input for driving decisions. In this study, our aim is to understand relationship between saliency and driving decisions. We present a novel attention-based saliency map prediction model for making braking decisions This approach constructs a holistic model to the driving task and can be extended for other driving decisions like steering and acceleration. The proposed model is a deep neural network model that feeds extracted features from input image to a recurrent neural network with an attention mechanism. Then predicted saliency map is used to make braking decision. We trained and evaluated using driving attention dataset BDD-A, and saliency dataset CAT2000.

연구 동기 및 목표

• 주행 작업에 맞게 조정된 주의 기반 기법을 사용하여 자율주행에서 운전자 특화의 시각적 주목 지도를 모델링하기 위해.
• 주목 지도 예측과 실제 주행 결정, 특히 브레이킹 사이의 관계를 조사하기 위해.
• 주목 지도 예측을 결정 과정에 직접 통합하여 전반적인 인지 프레임워크를 개발함으로써, 작업별 특화 구성 요소에 대한 의존도를 줄이기 위해.
• 주행 환경에서 중심 편향 사전 확률(가우시안 및 학습 가능한 RBF)의 효과를 평가하기 위해.
• 정적 이미지가 아닌 순차적이고 작업 중심의 주행 영상 데이터에 대해 주목 지도 예측 모델을 확장하기 위해.

제안 방법

• 모델은 입력 이미지의 공간적 특징을 추출하기 위해 확장된 컨볼루션을 사용하는 VGG-16 기반 백본을 사용한다.
• 순차적 특징을 처리하기 위해 ConvLSTM 기반의 순환 네트워크를 사용하며, 각 타임스텝에서 LSTM의 은닉 상태에 주의 메커니즘을 적용한다.
• 주의 메커니즘은 주행 맥락에 따라 관련된 공간 영역에 동적으로 가중치를 할당하며, 차량, 보행자, 신호등과 같은 주목할 만한 객체에 집중한다.
• 학습 가능한 중심 편향 사전 확률을 반경 기반 함수(RBF)를 사용하여 도입하며, 이는 학습 중 종단 간 최적화된다.
• 예측된 주목 지도를 사용하여 브레이킹 동작을 분류하는 결정 모듈이 있으며, 새로 추가된 BDD-A 데이터셋에서 AUC를 통해 성능을 평가한다.
• 주목 지도 정확도를 최적화하기 위해 상관 계수(CC)와 클로이브-라이블러(KL) 발산 손실을 모두 사용하여 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 정적 이미지가 아닌 주행 영상 시퀀스에 특화하여 훈련된 주의 기반 주목 지도 예측 모델은 어떤 성능을 보이는가?
• RQ2 학습 가능한 RBF 사전 확률이 주행 특화 주목 지도 예측 과제에서 표준 가우시안 사전 확률을 능가할 수 있는가?
• RQ3 실제 주행 상황에서 주목 지도 예측과 실제 브레이킹 결정 간에 상관관계가 존재하는가?
• RQ4 CAT2000에서 잘 작동하는 가우시안 중심 편향 사전 확률이 BDD-A 주행 데이터셋에서는 왜 실패하는가?
• RQ5 통합된 주목 지도 예측 모델은 브레이킹, 조향, 가속 등의 종단간 주행 결정을 효과적으로 지원할 수 있는가?

주요 결과

• 제안된 모델은 BDD-A 데이터셋에서 KL-발산(0.4607 vs. 1.24) 측면에서 기준 모델인 DAVE-2를 능가하여 더 높은 주목 지도 정확도를 확보했다.
• 32개의 구성 요소를 가진 RBF 기반 사전 확률이 BDD-A에서 가장 뛰어난 주목 지도 예측 성능을 기록했으며, 가우시안 사전 확률 및 사전 없음 기반 기준 모델을 모두 능가했다.
• 가우시안 중심 편향 사전 확률은 BDD-A에서 뚜렷하게 실패했으며, 이는 CAT2000와 달리 BDD-A의 주목 분포가 중심 편향이 아닐 가능성이 높기 때문이다.
• 주목 지도 기반의 브레이킹 결정 모델은 확장된 BDD-A 데이터셋에서 AUC 0.540의 성능을 기록하여 실제 브레이킹 이벤트와의 미미하지만 의미 있는 상관관계를 보였다.
• 중심 편향 사전 확률이 없는 모델조차도 BDD-A에서 가우시안 사전 확률이 있는 모델보다 성능이 뛰어나, 사전 확률 설계가 데이터 분포에 맞게 조정되어야 한다는 점을 시사한다.
• 모델은 주행 맥락에서 비디오 시퀀스의 LSTM 출력에 주의 메커니즘을 효과적으로 적용할 수 있음을 입증하였으며, 기존 기준 모델 대비 주목 지도 예측 성능을 향상시켰다.