[논문 리뷰] RiWNet: A moving object instance segmentation Network being Robust in adverse Weather conditions

Chenjie Wang, Chengyuan Li외 3명|arXiv (Cornell University)|2021. 09. 04.

Advanced Neural Network Applications참고 문헌 61인용 수 4

한 줄 요약

RiWNet는 새로운 피처 피라미드 네트워크(RiWFPN)를 통합하여 점진적인 상향식 상호작용과 주의력 정련을 통해 저주파수 구조적 특징을 향상시킴으로써 비상황에서의 강건성을 확보한 종단간 이동 객체 인스턴스 세분화 네트워크이다. 이 방법은 기상 특화 데이터 증강이나 다중 센서 융합을 요구하지 않으며, 비, dense 안개, 저조도 조건에서 벤치마크 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Segmenting each moving object instance in a scene is essential for many applications. But like many other computer vision tasks, this task performs well in optimal weather, but then adverse weather tends to fail. To be robust in weather conditions, the usual way is to train network in data of given weather pattern or to fuse multiple sensors. We focus on a new possibility, that is, to improve its resilience to weather interference through the network's structural design. First, we propose a novel FPN structure called RiWFPN with a progressive top-down interaction and attention refinement module. RiWFPN can directly replace other FPN structures to improve the robustness of the network in non-optimal weather conditions. Then we extend SOLOV2 to capture temporal information in video to learn motion information, and propose a moving object instance segmentation network with RiWFPN called RiWNet. Finally, in order to verify the effect of moving instance segmentation in different weather disturbances, we propose a VKTTI-moving dataset which is a moving instance segmentation dataset based on the VKTTI dataset, taking into account different weather scenes such as rain, fog, sunset, morning as well as overcast. The experiment proves how RiWFPN improves the network's resilience to adverse weather effects compared to other FPN structures. We compare RiWNet to several other state-of-the-art methods in some challenging datasets, and RiWNet shows better performance especially under adverse weather conditions.

연구 동기 및 목표

• 비, 안개, 저조도와 같은 악천후 조건에서 이동 객체 인스턴스 세분화 성능 저하 문제를 해결하기 위해.
• 기상 증강 학습 데이터나 다중 센서 융합에 의존하지 않고 네트워크의 강건성을 향상시키기 위해.
• 저주파수 구조적 정보를 향상시켜 열악한 이미지에서 더 나은 객체 표현을 가능하게 하는 피처 피라미드 네트워크(RiWFPN)를 개발하기 위해.
• SOLOv2에 시간적 모델링을 통합하여 인접한 RGB 프레임에서 운동 신호를 포착함으로써 인스턴스 세분화 성능을 향상시키기 위해.
• 이동 객체 인스턴스 세분화를 위한 다양한 기상 조건을 포함한 새로운 벤치마크 데이터셋인 VKTTI-moving을 구축하고 평가하기 위해.

제안 방법

• 스케일 간 특징 맵을 정교화하여 의미적 및 공간적 일관성을 향상시키기 위한 점진적인 상향식 상호작용 모듈을 갖춘 새로운 FPN 변종인 RiWFPN을 제안한다.
• 특징 맵 내 저주파 성분을 강화함으로써 기상 악화 상황에서도 구조적 정보를 유지할 수 있도록 주의력 정련 모듈을 도입한다.
• 인접한 두 개의 RGB 프레임에서 운동 신호를 통합하기 위해 SOLOv2에 ConvLSTM 기반 시간 인코더를 통합한다.
• 연속된 두 개의 RGB 프레임을 입력으로 사용함으로써, 네트워크가 공간-시간적 맥락을 활용해 더 정확한 인스턴스 세분화를 수행할 수 있도록 한다.
• 비, 안개, 일몰, 아침, 흐린 날씨 등 다양한 기상 조건을 포함한 인스턴스 세분화 레이블을 재부여하여 VKITTI 데이터셋을 기반으로 VKTTI-moving 데이터셋을 구축한다.
• 정밀도, 재현율, F-측정치, IoU와 같은 표준 지표를 사용하여 VKTTI-moving 및 YTVOS-moving에서 RiWNet를 종단간으로 학습 및 평가한다.

실험 결과

연구 질문

• RQ1 기상 증강 데이터를 요구하지 않고도 재설계된 FPN 아키텍처가 악천후 조건에서 인스턴스 세분화 네트워크의 강건성을 향상시킬 수 있는가?
• RQ2 점진적인 상향식 특징 정련과 주의력 기반 저주파 성분 강화의 통합이 열악한 이미지에서 구조적 정보를 얼마나 효과적으로 유지하는가?
• RQ3 ConvLSTM 기반 시간 모델링을 통해 비디오 시퀀스에서 기상 장애 조건 하에서도 인스턴스 세분화 성능을 얼마나 향상시킬 수 있는가?
• RQ4 어떤 정도로 RiWNet는 어려운 기상 조건 하에서 이동 객체 인스턴스 세분화 분야에서 최신 기술 수준(SOTA) 방법들을 능가하는가?
• RQ5 다양한 기상 조건을 포함한 새로운 벤치마크 데이터셋은 세분화 모델의 강건성을 효과적으로 평가하고 검증하는 데 유용한가?

주요 결과

• RiWNet는 YTVOS-moving 테스트 세트에서 정밀도 79.80%와 F-측정치 73.35%를 기록하여 TSA 및 U2-ONet보다 정밀도 4.1% 이상, F-측정치 3.4% 이상 높게 성과를 냈다.
• RiWFPN의 사용은 악천후 조건에서도 더 깔끔하고 구조적으로 정돈된 특징 맵 향상을 보여주며, 이는 특징 맵 품질 향상의 명백한 증거이다.
• 시각-LiDAR 융합 SLAM(DV-LOAM)에서 RiWNet를 통합함으로써 KITTI Sequence 04에서 상대적 이동 오차는 0.61%에서 0.56%로, 회전 오차는 0.30°/100m에서 0.26°/100m로 감소하였다.
• RiWNet의 이동 객체 마스크를 사용해 생성된 포인트 클라우드 맵은 이동 객체 아티팩트가 크게 감소하였으며, 정적 환경 재구성 품질이 향상되었다.
• RiWNet는 关键 프레임에서 병렬로 실행될 때 약 5Hz의 실시간 추론 성능 유지를 유지하여 실시간 SLAM 시스템과의 호환성을 입증하였다.
• VKTTI-moving 데이터셋은 다양한 기상 조건 하에서 표준 모델과 강건한 모델 간의 성능 격차를 효과적으로 포착하여, 벤치마크로서의 유용성을 검증하였다.