[논문 리뷰] Agent-Centric Risk Assessment: Accident Anticipation and Risky Region Localization

Kuo-Hao Zeng, Shih-Han Chou외 3명|arXiv (Cornell University)|2017. 05. 18.

Anomaly Detection Techniques and Applications참고 문헌 31인용 수 3

한 줄 요약

이 논문은 동적 파라미터 예측과 소프트 어텐션 RNN를 결합한 새로운 에이전트 중심의 위험 평가 프레임워크를 제안한다. 이는 비디오에서 사고를 예측하고 위험 지역을 국소화하는 데 목적이 있다. 에이전트와 환경 간의 공간적 및 외관적 상호작용을 모델링하고, RNN 기반의 궤적 상상 기능을 통해 장기적 위험 예측을 수행함으로써, 새로운로 도입된 Epic Fail 및 Street Accident 데이터셋에서 사고 예측 및 위험 지역 국소화 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

For survival, a living agent must have the ability to assess risk (1) by temporally anticipating accidents before they occur, and (2) by spatially localizing risky regions in the environment to move away from threats. In this paper, we take an agent-centric approach to study the accident anticipation and risky region localization tasks. We propose a novel soft-attention Recurrent Neural Network (RNN) which explicitly models both spatial and appearance-wise non-linear interaction between the agent triggering the event and another agent or static-region involved. In order to test our proposed method, we introduce the Epic Fail (EF) dataset consisting of 3000 viral videos capturing various accidents. In the experiments, we evaluate the risk assessment accuracy both in the temporal domain (accident anticipation) and spatial domain (risky region localization) on our EF dataset and the Street Accident (SA) dataset. Our method consistently outperforms other baselines on both datasets.

연구 동기 및 목표

• 비디오에서의 에이전트 행동 분석을 통해 사고 발생 이전에 사고를 예측할 수 있는 컴퓨터 비전 프레임워크를 개발하는 것.
• 에이전트-환경 상호작용 기반으로 사고가 발생할 가능성이 높은 환경 내 공간적 영역을 국소화하는 것.
• 딥 러닝을 통해 위험 사건의 복잡한 시공간적 의존성과 인과관계를 모델링하는 것.
• 비디오 시각 이해 분야에서 에이전트 중심의 위험 평가를 위한 새로운 벤치마크 데이터셋인 Epic Fail을 제안하는 것.
• 에이전트의 향후 궤적을 상상하고 평가하여 장기적 위험 예측을 가능하게 하는 것.

제안 방법

• 이 방법은 소프트 어텐션 RNN을 사용하여 에이전트 행동을 시간에 따라 분산 표현으로 인코딩한다.
• 에이전트와 후보 위험 지역 간의 상대적 공간 관계와 결합된 외관 특성을 모델링하기 위해 동적 파라미터 예측 레이어를 도입한다.
• 에이전트 표현을 처리하고 시간에 따라 사고 예측 확률을 예측하기 위해 두 번째 RNN을 사용한다.
• 미래 궤적은 RNN의 생성 능력을 활용하여 상상되며, 이후 모델에 피드백되어 장기적 위험 평가에 활용된다.
• 후보 위험 지역을 제안하기 위해 Faster R-CNN을 활용하며, 이후 동적 파라미터 레이어를 통해 점수를 매긴다.
• 사고 예측 및 위험 지역 국소화를 동시에 최적화하는 엔드 투 엔드 학습 프로토콜을 사용한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 비디오에서의 에이전트 행동을 분석하여 사고 발생 이전에 사고를 효과적으로 예측할 수 있는가?
• RQ2 모델이 향후 사고에 관여할 가능성이 높은 장면 내 공간적 영역을 정확하게 국소화할 수 있는가?
• RQ3 에이전트와 환경 영역 간의 상대적 공간적 및 외관적 상호작용을 어떻게 모델링하여 위험 평가 성능을 향상시킬 수 있는가?
• RQ4 상상된 미래 궤적은 얼마나 장기적 위험 예측 성능 향상에 기여하는가?
• RQ5 제안된 동적 파라미터 예측 메커니즘은 하드 어텐션 또는 풀링 기반 대안 대비 위험 모델링에서 어떤가?

주요 결과

• 제안된 방법 L-RAI는 Epic Fail 데이터셋에서 15.1% mAP, Street Accident 데이터셋에서 45.4% mAP를 기록하여 모든 베이스라인을 초월한다.
• 메모리와 궤적 상상 기능의 추가로 mAP 및 ATTA 지표가 모두 향상되어 장기적 시간적 모델링의 유용성을 입증한다.
• L-R*CNN은 하드 어텐션 기반의 강력한 베이스라인임에도 불구하고, EF에서 1.1% mAP, SA에서 1.8% mAP 향상으로 L-RAI가 뛰어난 성능을 보였다.
• 동적 파라미터 예측 레이어는 사회 풀링(SP) 및 동적 공간 어텐션(DSA)보다 우수한 성능을 보여, 에이전트-영역 상호작용 모델링의 효과성을 입증한다.
• 모델은 뛰어난 일반화 능력을 보이며, 자동차, 바와 같은 다양한 위험 영역을 정확히 식별하고, 실패 케이스에서는 풍선 풍선 풀을 잠재적 위험으로 합리적으로 경고한다.
• 오라클 성능은 EF에서 75.7% mAP, SA에서 92.8% mAP에 도달하여 현재 모델가 여전히 상한선에 크게 못 미치며 향후 개선 여지가 많음을 시사한다.