[논문 리뷰] TORNADO-Net: mulTiview tOtal vaRiatioN semAntic segmentation with Diamond inceptiOn module

Martin Gerdzhev, Ryan Razani외 2명|arXiv (Cornell University)|2020. 08. 24.

3D Shape Modeling and Analysis참고 문헌 32인용 수 15

한 줄 요약

TORNADO-Net은 다중 시야(비행도 및 범위도) 특징 추출과 ResNet 기반 인코더-디코더 아키텍처를 결합한 새로운 3D LiDAR 세분화 네트워크로, 다이아몬드형 컨텍스트 블록과 총변위(Total Variation), Lovász-Softmax, 가중치 Cross-Entropy를 통합한 하이브리드 손실 함수를 통해 개선된 국소 일致성과 노이즈 감소를 실현한다. SemanticKITTI 벤치마크에서 64.2% mIoU를 기록하며 기존 방법들을 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Semantic segmentation of point clouds is a key component of scene understanding for robotics and autonomous driving. In this paper, we introduce TORNADO-Net - a neural network for 3D LiDAR point cloud semantic segmentation. We incorporate a multi-view (bird-eye and range) projection feature extraction with an encoder-decoder ResNet architecture with a novel diamond context block. Current projection-based methods do not take into account that neighboring points usually belong to the same class. To better utilize this local neighbourhood information and reduce noisy predictions, we introduce a combination of Total Variation, Lovasz-Softmax, and Weighted Cross-Entropy losses. We also take advantage of the fact that the LiDAR data encompasses 360 degrees field of view and uses circular padding. We demonstrate state-of-the-art results on the SemanticKITTI dataset and also provide thorough quantitative evaluations and ablation results.

연구 동기 및 목표

• 국소 이웃 구조의 일致성 원리를 활용하여 3D LiDAR 세분화에서 발생하는 노이즈 및 일관성 없는 예측 문제를 해결하고자 한다.
• 다중 시야 투영(BEV 및 범위도)과 새로운 글로벌 컨텍스트 모듈을 통해 흩어진 구조가 아닌 희박한 LiDAR 포인트 클라우드에서의 특징 표현을 향상시키고자 한다.
• 기본 세분화 손실에 총변위(Total Variation) 손실을 통합하여 모델의 강건성과 정확도를 향상시키고자 한다.
• 원형 패딩과 효율적인 네트워크 설계를 통해 360° LiDATOR 데이터에서 실시간 추론을 가능하게 하고자 한다.
• 각 구성 요소의 mIoU 및 추론 속도에 대한 기여도를 검증하기 위해 종합적인 아블레이션 스터디를 제공하고자 한다.

제안 방법

• 모델은 원시 LiDAR 포인트 클라우드를 비행도(BEV) 및 구형 범위도(RV) 표현으로 변환하는 다중 시야 투영 전략을 사용하여 상보적인 특징 학습을 수행한다.
• 범위도 특징 공간에서 장거리 컨텍스트적 의존성을 포착하기 위해 새로운 다이아몬드형 컨텍스트 블록을 도입하여 의미적 표현을 향상시킨다.
• 스킵 연결을 활용한 인코더-디코더 ResNet 아키텍처를 사용하여 업샘플링 과정에서 공간적 세부 정보를 유지한다.
• 하이브리드 손실 함수는 총변위(Total Variation) 손실을 통해 예측의 스무딩을, Lovász-Softmax를 통해 클래스 불균형 문제를 해결하고, 가중치 Cross-Entropy를 통해 강력한 최적화를 실현한다.
• 360° 수평 시야 연속성을 유지하기 위해 범위도 특징 맵에 원형 패딩을 적용한다.
• 추가로 K-최근접 이웃(KNN) 정밀 조정을 통해 세분화 정확도를 더욱 향상시킨다.

실험 결과

연구 질문

• RQ1 비행도(BEV) 및 범위도(RV)의 다중 시야 특징 융합이 단일 시야 방법에 비해 3D LiDAR 포인트 클라우드의 세분화 정확도에 어떻게 기여하는가?
• RQ2 제안된 다이아몬드형 컨텍스트 블록이 특징 표현 및 세분화 성능에 얼마나 기여하는가?
• RQ3 총변위(Total Variation) 손실 통합이 LiDAR 세분화에서 예측 노이즈를 현저히 감소시키고 mIoU를 향상시키는가?
• RQ4 원형 패딩이 주기적인 공간적 구조를 가진 360° LiDAR 데이터에서 모델 일반화에 어떤 영향을 미치는가?
• RQ5 각 아키텍처 및 학습 구성 요소(예: PPL, 고해상도 설정, KNN 후처리)의 개별 기여도는 최종 mIoU에 어떻게 기여하는가?

주요 결과

• TORNADO-Net은 SemanticKITTI 테스트 스플릿에서 평균 교차율(mIoU) 64.2%를 기록하여 새로운 최신 기술 수준의 성능을 확립했다.
• 총변위(Total Variation, TV) 손실만 추가해도 기준 모델 대비 mIoU가 약 2.9% 포인트 향상되었다.
• KNN 후처리 단계는 mIoU를 2–3% 포인트 향상시키며, K=11일 때 가장 높은 향상률을 보였다.
• 고해상도 변형(TORNADONet-HiRes)은 65.9% mIoU를 달성하여 해상도 증가의 이점을 입증했지만 추론 속도는 감소했다.
• 원형 패딩은 mIoU에 0.5% 향상 기여를 하여 360° 연속성을 유지하는 데 효과적임을 확인했다.
• 아블레이션 스터디 결과, 다이아몬드형 컨텍스트 블록과 PPL(Pillar-based learning) 모듈 각각이 상당한 기여를 하였으며, 후자는 mIoU 1.5% 향상 기여를 하였다.