[논문 리뷰] DS-PASS: Detail-Sensitive Panoramic Annular Semantic Segmentation through SwaftNet for Surrounding Sensing

Kailun Yang, Xinxin Hu외 4명|arXiv (Cornell University)|2019. 09. 17.

Advanced Neural Network Applications참고 문헌 33인용 수 8

한 줄 요약

이 논문은 SwaftNet—실시간으로 작동하며 주변 경로 연결을 갖춘 주의 기반 인코더-디코더 네트워크인 DS-PASS를 제안한다. 이는 사전 훈련된 투영 카메라 세그멘테이션 네트워크를 패ano믹 애너귤러 영상에 적응시키기 위한 디테일 민감한 전방위 세그멘테이션 프레임워크이다. 이 방법은 확장된 PASS 데이터셋에서 최신 기술 성능을 달성하며, 모바일 로봇과 장비된 차량에 구현되었을 때 실시간 추론과 개선된 시각 자율 주행을 보여준다.

ABSTRACT

Semantically interpreting the traffic scene is crucial for autonomous transportation and robotics systems. However, state-of-the-art semantic segmentation pipelines are dominantly designed to work with pinhole cameras and train with narrow Field-of-View (FoV) images. In this sense, the perception capacity is severely limited to offer higher-level confidence for upstream navigation tasks. In this paper, we propose a network adaptation framework to achieve Panoramic Annular Semantic Segmentation (PASS), which allows to re-use conventional pinhole-view image datasets, enabling modern segmentation networks to comfortably adapt to panoramic images. Specifically, we adapt our proposed SwaftNet to enhance the sensitivity to details by implementing attention-based lateral connections between the detail-critical encoder layers and the context-critical decoder layers. We benchmark the performance of efficient segmenters on panoramic segmentation with our extended PASS dataset, demonstrating that the proposed real-time SwaftNet outperforms state-of-the-art efficient networks. Furthermore, we assess real-world performance when deploying the Detail-Sensitive PASS (DS-PASS) system on a mobile robot and an instrumented vehicle, as well as the benefit of panoramic semantics for visual odometry, showing the robustness and potential to support diverse navigational applications.

연구 동기 및 목표

• 좁은 시야각(FoV) 투영 영상에서 훈련된 세그멘테이션 모델을 전방위 애너귤러 영상으로 이식할 때 성능 저하 문제를 해결하기 위해.
• 특히 보행자나 보도와 같이 작은 또는 먼 물체에 대해 세그멘테이션 정확도를 향상시키기 위해 인코더와 디코더 간의 특징 융합을 개선함으로써 전방위 세그멘테이션의 세부 정보 민감도를 향상시키기 위해.
• 새로운 대규모 전방위 애너귤러 애너테이션을 필요로 하지 않고도 메가픽셀 해상도의 전방위 영상에서 효율적이고 실시간 세그멘테이션을 가능하게 하기 위해.
• 실세계 자율 주행 작업, 특히 시각 자율 주행과 차량 수준 센서 기술에서 전방위 세그멘테이션의 견고성과 유용성을 검증하기 위해.

제안 방법

• 좁은 시야각 투영 영상에서 훈련된 사전 훈련된 세그멘테이션 모델의 지식을 재사용하여 전방위 애너귤러 영상에 적응시키는 네트워크 적응 프레임워크를 제안함으로써 도메인 이동과 영상 경계에서의 맹점 문제를 방지한다.
• 깊이 있는 맥락 풍부한 인코더 레이어와 얕은 세부 정보 민감도가 높은 디코더 레이어 사이에 주의 기반 횡방향 연결을 갖춘 실시간 세그멘테이션 네트워크인 SwaftNet을 도입한다.
• 저수준의 공간적 세부 정보와 고수준의 의미적 특징을 동적으로 가중하고 융합하기 위해 횡방향 주의 모듈을 활용하여 미세한 물체의 세그멘테이션 정확도를 향상시킨다.
• 보행자, 보도, 도로 표시 등 세부 정보가 중요한 클래스에 대해 정교한 애너테이션을 추가하여 PASS 데이터셋을 확장함으로써 세부 정보 민감도 평가를 더 잘 수 있도록 한다.
• 360°×70° 애너귤러 렌즈 시스템을 사용하여 모바일 로봇과 장비된 전기 차량에 DS-PASS 시스템을 구현하여 실세계에서의 견고성과 성능을 검증한다.
• 최신 기술의 시각 자율 주행 시스템(PALVO)과 전방위 세그멘테이션 예측을 통합하여 의미 일致성을 활용해 키포인트 매칭을 필터링하고 궤적의 매끄러움을 향상시킨다.

실험 결과

연구 질문

• RQ1 좁은 시야각 투영 영상에서 훈련된 사전 훈련된 세그멘테이션 모델이 전방위 애너귤러 영상으로 이식될 때 치명적인 성능 저하 없이 효과적으로 적응될 수 있는가?
• RQ2 주의 기반 특징 융합은 특히 작은 또는 먼 물체에 대해 전방위 세그멘테이션의 세부 정보 민감도를 어떻게 향상시킬 수 있는가?
• RQ3 실세계의 동적인 환경에서 전방위 세그멘테이션은 시각 자율 주행의 견고성과 정확도를 어느 정도 향상시키는가?
• RQ4 SwaftNet과 같은 실시간 효율적 세그멘테이션 네트워크는 메가픽셀 해상도의 전방위 영상에서 높은 정확도를 유지하면서도 기존의 효율적 아키텍처를 능가할 수 있는가?

주요 결과

• 제안된 네트워크 적응 전략은 전방위 애너귤러 영상에 적용되었을 때 모든 최신 기술의 효율적 세그멘테이터에서 일관되게 성능 향상을 이룬다.
• SwaftNet은 확장된 PASS 데이터셋에서 새로운 최신 기술 성능을 달성하며, 실시간 추론 속도를 유지하면서도 기존의 효율적 네트워크를 능가한다.
• 모바일 로봇에 배치된 DS-PASS 시스템은 수직 시야각이 최적화되지 않은 상황에서도 높은 품질의 세그멘테이션을 유지하여 시각 왜곡에 대한 견고성을 입증한다.
• 장비된 전기 차량에서 시스템은 도로를 명확하고 잘 정의된 의미적 지도로 제공하여 단일 카메라 설정에서 지능형 차량(IV) 응용에 매우 적합하다.
• DS-PASS 예측을 사용한 의미 기반 시각 자율 주행(의미 PALVO)은 기준 기반 시각 자율 주행 대비 더 매끄러운 궤적과 낮은 속도 표준편차를 기록하여 드리프트를 줄이고 견고성을 향상시킨다.
• 기준 기반 세그멘테이션 모델을 사용할 경우 의미 기반 시각 자율 주행 시스템은 희박하고 정확도가 떨어지는 일치 매칭으로 인해 자주 실패한다. 이는 DS-PASS의 세부 정보 유지 세그멘테이션 기술이 주행 작업에서 열등하지 않음을 확인한다.