[논문 리뷰] RST-MODNet: Real-time Spatio-temporal Moving Object Detection for Autonomous Driving

Mohamed Ramzy, Hazem Rashed외 2명|arXiv (Cornell University)|2019. 12. 01.

Advanced Neural Network Applications참고 문헌 38인용 수 16

한 줄 요약

RST-MODNet은 RGB 이미지와 옵티컬 플로우 맵을 융합하고, ConvLSTM 또는 GRU를 사용하여 다단계 시간 인식 레이어를 통합함으로써 자율 주행 환경에서 시공간 이동 객체 검출을 위한 실시간, 엔드 투 엔드 CNN 아키텍처를 제안한다. 이는 기준 모델 대비 8% 상대 정확도 향상을 달성하며, 상태의 기술(SOTA)보다 3배 빠른 23 fps로 작동하여 운동 마스크의 시간적 일관성을 확보한다.

ABSTRACT

Moving Object Detection (MOD) is a critical task for autonomous vehicles as moving objects represent higher collision risk than static ones. The trajectory of the ego-vehicle is planned based on the future states of detected moving objects. It is quite challenging as the ego-motion has to be modelled and compensated to be able to understand the motion of the surrounding objects. In this work, we propose a real-time end-to-end CNN architecture for MOD utilizing spatio-temporal context to improve robustness. We construct a novel time-aware architecture exploiting temporal motion information embedded within sequential images in addition to explicit motion maps using optical flow images.We demonstrate the impact of our algorithm on KITTI dataset where we obtain an improvement of 8% relative to the baselines. We compare our algorithm with state-of-the-art methods and achieve competitive results on KITTI-Motion dataset in terms of accuracy at three times better run-time. The proposed algorithm runs at 23 fps on a standard desktop GPU targeting deployment on embedded platforms.

연구 동기 및 목표

• 자신의 운동으로 인해 정적 객체의 인식이 왜곡되는 역동적인 자율 주행 환경에서 정확한 이동 객체 검출 문제를 해결한다.
• 명시적(옵티컬 플로우)과 암시적(순차적 RGB) 운동 정보를 활용하여 운동 세그멘테이션의 강건성과 시간적 일관성을 향상시킨다.
• 정확도를 희생시키지 않고 추론 속도를 최적화하여 임베디드 플랫폼에 적합한 실시간 구현 가능한 네트워크를 설계한다.
• 다양한 시간 인식 아키텍처(초기, 후기, 중간 수준)가 운동 검출 성능과 시간 안정성에 미치는 영향을 평가한다.

제안 방법

• 시간 인식 CNN 아키텍처를 구성하여, 여러 단계에서 ConvLSTM 또는 GRU 레이어를 사용해 RGB 이미지와 옵티컬 플로우 맵을 융합함으로써 시간 역동성을 모델링한다.
• 다단계 융합 전략을 구현하여 운동 특징을 여러 레이어를 거쳐 추출하고 개선함으로써 시간이 지남에 따라 특징 표현을 향상시킨다.
• 표준 GPU 및 임베디드 시스템에서 실시간 추론 속도를 유지하기 위해 경량 백본(ShuffleNet)을 사용한다.
• 시퀀스 프레임과 옵티컬 플로우 맵을 스택하여 네트워크의 입력으로 제공함으로써 시간적 패턴의 엔드 투 엔드 학습을 가능하게 하는 시간적 증강을 적용한다.
• 운동 정보를 최종 분류 레이어 이전에 통합하는 후기 융합 전략을 도입하여 마스크의 일관성을 향상시킨다.
• 정확도와 속도의 최적 균형을 찾기 위해 시간 특징의 초기, 후기, 중간 수준 융합 전략을 비교하는 추론 분석을 수행한다.

실험 결과

연구 질문

• RQ1 ConvLSTM 등의 시간 인식 레이어를 통합할 경우, 표준 이중 스트림 RGB+옵티컬 플로우 네트워크에 비해 운동 세그멘테이션 정확도와 시간적 일관성은 어떻게 향상되는가?
• RQ2 자율 주행 환경에서의 이동 객체 검출을 위해 CNN 내에서 시간 모델링을 초기, 후기, 중간 수준 중 어디에 배치하는 것이 최적인가?
• RQ3 명시적 운동(옵티컬 플로우)과 암시적 운동(시간적 순서)을 결합할 경우, 각각을 별도로 사용할 때보다 검출 성능은 얼마나 향상되는가?
• RQ4 경량이며 엔드 투 엔드 네트워크는 임베디드 배포에 적합한 실시간 추론 속도를 유지하면서도 최신 기술(SOTA) 수준의 정확도를 달성할 수 있는가?
• RQ5 제안된 아키텍처는 단일 프레임 또는 이중 프레임 운동 추정에 의존하는 기준 방법에 비해 운동 마스크의 시간적 비일관성을 얼마나 줄이는가?

주요 결과

• 제안된 RST-MODNet은 KITTI-Motion 데이터셋에서 기준 모델 대비 8% 상대 정확도 향상을 달성하여 시공간 모델링의 효과를 입증한다.
• ConvLSTM 또는 GRU를 사용한 중간 수준 시간 인식 아키텍처는 RGB+Flow 기준 모델 대비 4% 절대 정확도 향상을 기록하며, GRU 버전은 더 단순한 구조 덕분에 약간 더 빠른 추론 속도를 제공한다.
• 표준 데스크톱 GPU에서 23 fps로 작동하여, 정확도는 유사하고 SOTA인 SMSNet보다 3배 빠른 속도를 기록한다.
• 정성적 결과 분석에서 제안된 방법은 기준 RGB+Flow 모델이 떨림 현상과 일관성 결여를 겪는 것과는 달리, 프레임 간 시간적으로 안정된 운동 마스크를 생성함을 확인했다.
• 추론 분석 결과, 시간 특징의 중간 수준 융합 전략이 정확도와 효율성의 최적 균형을 이룩하며, 초기 및 후기 융합 전략을 모두 능가함을 확인했다.
• 옵티컬 플로우와 다단계 시간 모델링을 통합함으로써 정적 객체에서의 오분류를 크게 감소시켜, 복잡한 도심 주행 환경에서의 강건성을 향상시켰다.