[논문 리뷰] Visuomotor Understanding for Representation Learning of Driving Scenes

Seokju Lee, Junsik Kim외 5명|arXiv (Cornell University)|2019. 09. 16.

Advanced Vision and Imaging참고 문헌 60인용 수 6

한 줄 요약

이 논문은 단일 프레임 이미지와 자가 운동 센서 데이터를 융합하여 향후 프레임 합성에 대한 조밀한 광학 흐름을 예측하는 자기지도 학습 시각운동 표현 학습 프레임워크를 제안한다. 시간 반전 대칭성과 센서 보강 특징 학습을 활용함으로써, 이 방법은 의미 분할에서 최신 기술 수준의 성능을 달성하며, 비지도 기반 기준보다 뛰어나고 ImageNet 지도 학습 모델에 가까운 성능을 드라이빙 환경 이해 과제에서 보여준다.

ABSTRACT

Dashboard cameras capture a tremendous amount of driving scene video each day. These videos are purposefully coupled with vehicle sensing data, such as from the speedometer and inertial sensors, providing an additional sensing modality for free. In this work, we leverage the large-scale unlabeled yet naturally paired data for visual representation learning in the driving scenario. A representation is learned in an end-to-end self-supervised framework for predicting dense optical flow from a single frame with paired sensing data. We postulate that success on this task requires the network to learn semantic and geometric knowledge in the ego-centric view. For example, forecasting a future view to be seen from a moving vehicle requires an understanding of scene depth, scale, and movement of objects. We demonstrate that our learned representation can benefit other tasks that require detailed scene understanding and outperforms competing unsupervised representations on semantic segmentation.

연구 동기 및 목표

• 드라이빙 시나리오에서의 환경 이해를 향상시키기 위해 시각적 데이터와 자가 운동 데이터를 통합하는 자기지도 시각 표현 학습 프레임워크를 개발하는 것.
• 모델이 단일 이미지와 운동 센서 데이터로부터 조밀한 광학 흐름을 예측하여 미래 프레임의 외관을 시뮬레이션할 수 있도록 하는 것.
• 운동과 시각적 인식 간의 연결을 고려한 시각운동 이해가 순수히 시각적 자기지도 학습보다 더 강력하고 의미적으로 유의미한 표현을 이끌어내는지 조사하는 것.
• 학습된 표현이 의미 분할과 같은 후행 과제로의 전이 성능를 평가하는 것, 특히 저 supervision 설정에서의 성능

제안 방법

• 모델은 단일 RGB 이미지와 해당하는 자가 운동 센서 데이터(속도, 가속도, 각속도)를 입력으로 사용하는 딥 네ural 네트워크를 사용한다.
• 운동 센서 데이터는 잠재 공간에 매핑되어 인코딩된 시각적 특징과 연결된 후 광학 흐름 예측에 사용된다.
• 예측된 광학 흐름을 사용하여 입력 이미지를 시간적으로 앞으로 워프하고, 손실은 워프된 이미지와 실제 다음 프레임 간의 픽셀 단위 차이로 계산된다.
• 시간 반전 대칭성(T-대칭성)은 동일한 아키텍처를 사용하여 미래 및 과거 프레임을 모두 예측하도록 훈련시킴으로써 강제로 적용되며, 일반화 및 정규화를 향상시킨다.
• 프레임워프 및 센서 데이터가 자연스럽게 쌍을 이루는 대규모 영상 및 센서 데이터를 드래그 헤드 카메라와 모바일 관성 센서에서 수집하여, 프레임워크는 엔드 투 엔드로 자기지도 학습 방식으로 훈련된다.
• 사전 훈련 후, 모델은 공개 데이터셋을 사용하여 의미 분할에 대해 미세조정되어 전이 성능를 평가한다.

실험 결과

연구 질문

• RQ1 자기 운동 센서 데이터를 시각 입력과 융합함으로써 드라이빙 시나리오에 대한 자기지도 학습 표현 학습을 향상시킬 수 있는가?
• RQ2 운동 감독을 통한 단일 프레임에서의 조밀한 광학 흐름 예측이 순수히 시각적 자기지도 학습 방법보다 더 나은 의미 이해를 이끌어내는가?
• RQ3 시간 반전 대칭성이 학습된 표현의 안정성과 일반화에 기여하는 방식은 무엇인가?
• RQ4 비지도 및 지도 학습 기준 대비 시각운동 표현이 의미 분할과 같은 후행 과제로 얼마나 잘 전이되는가?

주요 결과

• 제안된 방법은 AlexNet, VGG, ResNet 아키텍처에서 무작위 초기화 및 기존 비지도 방법보다 의미 분할 성능 향상이 뚜렷하게 이루어졌다.
• Cityscapes 및 KITTI 데이터셋에서 ImageNet 사전 훈련 모델의 성능에 매우 가까운 성능을 보이며 강력한 전이 가능성을 입증했다.
• 순수히 시각적 광학 손실에 의존하는 광학 흐름 예측 기반 방법은 局부 패턴 매칭에 의존하여 의미적 환경 구조를 포착하지 못함을 확인했다.
• 심지어 깊이 기반 표현(예: Depth+pose)과 비교해도, 노이즈가 적고 더 안정적인 감독 덕분에 특히 물체 경계에서 더 높은 성능를 기록했다.
• 제거 실험을 통해 운동 센서 융합과 시간 반전 대칭성의 중요성이 확인되었으며, 이는 모델의 안정성과 표현 품질 향상에 기여했다.
• 센서 데이터는 날씨에 민감하지 않은 안정적인 모odal로, 저품질 입력에 민감한 이미지에서의 자세 추정 대안으로 강력한 대체 수단을 제공한다.