[논문 리뷰] Action Detection from a Robot-Car Perspective

Valentina Fontana, Gurkirt Singh외 4명|arXiv (Cornell University)|2018. 07. 30.

Anomaly Detection Techniques and Applications참고 문헌 21인용 수 3

한 줄 요약

이 논문은 오ックス포드 로봇카 데이터셋을 확장하여 도로 사용자의 행동, 위치, 신원에 대한 다중 레이블 주석을 추가한, 자율주행에서 시간-공간 행동 탐지에 대한 첫 번째 벤치마크인 Road Event and Activity Detection (READ) 데이터셋을 소개한다. 온라인 행동 탐지 모델을 사용하여 초기 테스트 세트에서 17.5%의 프레임-mAP를 달성함으로써, 자율주행 시스템에서 실시간 비전 기반 의사결정에 대한 데이터셋의 타당성을 입증한다.

ABSTRACT

We present the new Road Event and Activity Detection (READ) dataset, designed and created from an autonomous vehicle perspective to take action detection challenges to autonomous driving. READ will give scholars in computer vision, smart cars and machine learning at large the opportunity to conduct research into exciting new problems such as understanding complex (road) activities, discerning the behaviour of sentient agents, and predicting both the label and the location of future actions and events, with the final goal of supporting autonomous decision making.

연구 동기 및 목표

• 실시간 비전 기반 행동 탐지에 특화된 데이터셋의 부족을 보완하기 위해.
• 자율주행 차량의 시점에서 모든 도로 사용자(보행자, 자전거 기사, 차량 등)가 관여하는 복잡한 도로 사건의 탐지, 국지화 및 예측 가능성을 가능하게 하기 위해.
• 온라인 실시간 행동 탐지에 대한 벤치마크를 제공함으로써 안전하고 신뢰할 수 있으며 지능적인 자율주행 차량의 개발을 지원하기 위해.
• 현재의 행동 탐지 벤치마크를 다양하고 실제 도로 조건, 도로 요소 간의 복잡한 상호작용을 포함함으로써 확장하기 위해.
• 향후 연구를 위한 기반을 마련하기 위해, 주행 환경에서의 시간적 행동 튜브 연결 및 다중 레이블 이벤트 조합에 대해

제안 방법

• 로봇카의 시점에서 도로 사용자의 위치, 유형(예: 보행자, 자전거 기사, 차량), 행동(예: 횡단, 전방 주행, 정지)에 대한 세 가지 유형의 레이블을 포함한 오ックス포드 로봇카 데이터셋의 일부를 주석 처리하기 위해.
• 세부적이고 구성적인 도로 사건 주석을 가능하게 하기 위해 다중 레이블 주석 체계를 사용하여 더 rich한 이벤트 표현을 가능하게 하기 위해.
• READv1 데이터셋에서 외관 스트림만을 사용하여 Singh 등 [23]의 기반 모델을 기반으로 한 온라인 실시간 행동 탐지 모델을 30K–40K 반복 학습하여 기반 학습률 0.001로 훈련하기 위해.
• 초기 버전에서 완전한 시간적 연결이 없기 때문에, IoU ≥ 0.5 조건에서의 프레임 수준 평균 정확도(frame-AP)를 사용하여 성능 평가하기 위해.
• 향후 버전에서 광학 흐름 스트림 학습 및 융합 전략을 도입하여 방법을 확장할 계획이다.
• 2018년 10월까지 전체 데이터셋을 시간적 연결 및 다중 레이블 주석과 함께 GitHub에 게시할 예정이며, 기준 코드와 문서도 함께 제공할 예정이다.

실험 결과

연구 질문

• RQ1 비전 기반 시스템은 자율주행 차량의 시점에서 다양한 도로 사용자(보행자, 자전거 기사, 차량 등)의 행동을 실시간으로 탐지하고 국지화할 수 있는가?
• RQ2 실제 주행 환경에서 다양한 도로 사용자 유형과 행동 클래스에 따라 행동 탐지 성능는 어떻게 달라지는가?
• RQ3 데이터셋의 클래스 불균형이 탐지 정확도에 어떤 영향을 미치며, 데이터 확장 및 주석 전략을 통해 이를 어떻게 완화할 수 있는가?
• RQ4 시간적 연결이 제공되지 않은 상황에서, 영상 수준 평가(비디오-mAP)의 대체로 프레임 수준 지표(frame-AP)를 사용하는 것이 타당한가?
• RQ5 다중 레이블 주석 체계는 자율주행 시스템에서 복잡한 복합 도로 사건을 어떻게 더 잘 모델링할 수 있는가?

주요 결과

• READv1 데이터셋은 4343개의 테스트 프레임에 걸쳐 18,027개의 주석된 인스턴스를 포함하며, 보행자, 자전거 기사, 차량, 신호등을 포함한 27개의 고유한 이벤트 유형을 다룹니다.
• READv1에서 온라인 행동 탐지 모델의 프레임-mAP는 17.5%로, 도전적인 실제 주행 벤치마크에서 중간 수준의 성능을 보여줍니다.
• 성능은 인스턴스 수와 강하게 상관관계가 있습니다: 빈도가 높은 클래스(예: '차량 차선 내 주행' 3,098개 인스턴스)는 높은 AP(45.8%)를 기록하지만, 희귀 클래스(예: '좌측 시그널링 차량' 1개 인스턴스)는 0.0%의 점수를 기록합니다.
• 높은 성능 클래스로는 '신호등 초록색'(58.6% AP)과 '신호등 빨간색'(52.7% AP)이 있으며, 이는 정적이고 예측 가능한 신호등은 더 쉽게 탐지된다는 것을 시사합니다.
• 낮은 성능 클래스로는 '불법 횡단 보행자'(0.0% AP)와 '자전거 기사 좌측 전환'(0.0% AP)이 있으며, 이는 데이터가 부족하거나 모델링이 개선되어야 할 필요가 있음을 시사합니다.
• 저자들은 클래스 불균형과 시간적 연결 부족을 주요 제한 요소로 지목하며, 향후 데이터셋 출시에서 추가 주석과 튜브 수준의 참값을 통해 이를 해결할 계획입니다.