[논문 리뷰] Semi-supervised Learning: Fusion of Self-supervised, Supervised Learning, and Multimodal Cues for Tactical Driver Behavior Detection

Athma Narayanan, Yi-Ting Chen외 1명|arXiv (Cornell University)|2018. 07. 02.

Video Surveillance and Tracking Methods참고 문헌 8인용 수 5

한 줄 요약

이 논문은 저자원, 장꼬리형, 고내부클래스변동성이 있는 자연주의 주행 데이터셋에서 전술적 운전자 행동 탐지 성능을 향상시키기 위해 자기지도 학습 기반 3D 환경 구조, 의미적 세그멘테이션, CAN 센서 데이터를 융합하는 준지도 학습 다중모odal 융합 프레임워크를 제안한다. 이 방법은 보조적 특징 학습과 강건한 다중모달 융합을 통해 104시간 분량의 데이터셋에서 평균 F1 스코어 36.15%를 달성하며, 이는 이전 베이스라인 대비 16% 향상된 성능이다.

ABSTRACT

In this paper, we presented a preliminary study for tactical driver behavior detection from untrimmed naturalistic driving recordings. While supervised learning based detection is a common approach, it suffers when labeled data is scarce. Manual annotation is both time-consuming and expensive. To emphasize this problem, we experimented on a 104-hour real-world naturalistic driving dataset with a set of predefined driving behaviors annotated. There are three challenges in the dataset. First, predefined driving behaviors are sparse in a naturalistic driving setting. Second, the distribution of driving behaviors is long-tail. Third, a huge intra-class variation is observed. To address these issues, recent self-supervised and supervised learning and fusion of multimodal cues are leveraged into our architecture design. Preliminary experiments and discussions are reported.

연구 동기 및 목표

• 실세계 자연주의 주행 데이터에서 희소하고 장꼬리형이며 고내부클래스변동성이 큰 전술적 운전자 행동 주석 문제를 해결한다.
• 보조 작업에서 자기지도 학습 및 지도 학습을 활용해 고비용 수동 주석에 대한 의존도를 줄인다.
• 이미지 특징(의미적 맥락, 3D 구조)과 CAN 센서 데이터의 다중모달 융합을 통해 탐지 성능을 향상시킨다.
• 수정된 교차 엔트로피 손실과 LSTM 기반 시퀀스 모델링을 통해 운전자 행동 인식에서의 클래스 불균형 및 시간적 종속성 문제를 해결한다.
• 저자원 운전자 행동 탐지에서 보조 전훈련(예: 재구성, 운동에서의 구조 추출)의 효과를 입증한다.

제안 방법

• 차원이 1×1 컨볼루션을 통해 감소된 ImageNet에서의 InceptionResNet-V2 특징을 기준선으로 사용한다.
• 직접적인 지도 없이 장면 구성 특징을 학습하기 위해 적대적 autoencoder 기반 자기지도 학습 이미지 재구성 기법을 도입한다.
• 비지도 구조에서 운동을 통한 방법을 활용해 영상 시퀀스에서 3D 환경 구조 특징을 추출한다.
• 고해상도 특징 강화를 위해 기능 피라미드 네트워크를 통합한 DeepLab을 사용해 의미적 맥락을 향상시킨다.
• 의미적 맥락, 3D 구조, CAN 센서 특징을 연결 및 배치 정규화를 통해 융합하여 표현 학습 성능을 향상시킨다.
• 시간적 종속성을 모델링하기 위해 단절된 역전파를 통해 LSTM를 적용하고, 클래스 불균형을 고려한 교차 엔트로피 손실을 사용한다.

실험 결과

연구 질문

• RQ1 이미지 재구성에 대한 자기지도 전훈련이 낮은 레이블 수가 있는 데이터 설정에서 운전자 행동 탐지 성능을 향상시키는가?
• RQ2 비지도 구조에서 운동을 통한 3D 환경 구조 정보를 통합할 경우 전술적 행동 인식 성능가 얼마나 향상되는가?
• RQ3 의미적 맥락, 3D 구조, CAN 데이터의 다중모달 융합이 단일모달 또는 기준선 방법에 비해 탐지 성능을 얼마나 향상시키는가?
• RQ4 왜 의미적 맥락과 CAN 데이터의 융합이 차선 변경과 같은 맥락 의존적 행동에 기대한 성능 향상을 이끌지 못하는가?
• RQ5 자기지도 및 지도 학습 기반 보조 특징이 장꼬리형 및 고변동성이 큰 운전자 행동에서의 성능 저하를 완화시킬 수 있는가?

주요 결과

• 제안된 방법은 104시간 분량의 자연주의 주행 데이터셋에서 평균 F1 스코어 36.15%를 달성하며, 기준선 대비 5.5%p 향상되었다.
• 의미적 맥락과 3D 구조 특징 융합은 교차로 통과(79.69% F1) 및 합류(16.42% F1)와 같은 복잡한 행동 탐지 성능을 향상시켰다.
• 재구성 기반 특징 기준선 대비 16% 향상된 성능을 기록하며, 보조 전훈련의 가치를 입증했다.
• 기대와는 달리 의미적 맥락과 CAN 데이터 융합이 차선 변경 탐지 성능 향상에 기여하지 못했으며, 이는 융합 설계나 특징 표현이 최적화되지 않았음을 시사한다.
• 희귀 행동인 U턴(26.40% F1)과 철도차도(5.40% F1)에 대해 일관된 성능 향상을 보이며, 장꼬리 분포에 대한 강건성을 입증했다.
• 자기지도 및 지도 학습 기반 보조 신호를 활용해 수동 주석 의존도를 효과적으로 감소시켰다.