[논문 리뷰] (AF)2-S3Net: Attentive Feature Fusion with Adaptive Feature Selection for Sparse Semantic Segmentation Network

Ran Cheng, Ryan Razani외 3명|arXiv (Cornell University)|2021. 02. 08.

3D Shape Modeling and Analysis참고 문헌 39인용 수 27

한 줄 요약

논문은 (AF)²-S3Net을 제안합니다. Attentive Feature Fusion(AF2M) 및 Adaptive Feature Selection(AFSM) 모듈이 포함된 엔드-투-엔드 3D 희소 CNN으로 LiDAR 의미론 분할을 개선하고, SemanticKITTI에서 최첨단 성능을 달성하며 nuScenes-lidarseg에 대한 강력한 일반화 성능을 보여줍니다.

ABSTRACT

Autonomous robotic systems and self driving cars rely on accurate perception of their surroundings as the safety of the passengers and pedestrians is the top priority. Semantic segmentation is one the essential components of environmental perception that provides semantic information of the scene. Recently, several methods have been introduced for 3D LiDAR semantic segmentation. While, they can lead to improved performance, they are either afflicted by high computational complexity, therefore are inefficient, or lack fine details of smaller instances. To alleviate this problem, we propose AF2-S3Net, an end-to-end encoder-decoder CNN network for 3D LiDAR semantic segmentation. We present a novel multi-branch attentive feature fusion module in the encoder and a unique adaptive feature selection module with feature map re-weighting in the decoder. Our AF2-S3Net fuses the voxel based learning and point-based learning into a single framework to effectively process the large 3D scene. Our experimental results show that the proposed method outperforms the state-of-the-art approaches on the large-scale SemanticKITTI benchmark, ranking 1st on the competitive public leaderboard competition upon publication.

연구 동기 및 목표

• 희소 포인트 클라우드로 자율 시스템을 위한 3D LiDAR 의미론 분할의 정확성을 촉진한다.
• 다중 스케일 특징을 융합하고 미세한 디테일을 강조하기 위한 이중 주의 아키텍처를 도입한다.
• 보셀 기반과 포인트 기반 학습을 대형 장면에 혼합하는 통합 보셀-포인트 처리 프레임워크를 제시한다.
• SemanticKITTI에서 최첨단 성능을 보여주고 nuScenes-lidarseg 및 ModelNet40에서 일반화를 검증한다.

제안 방법

• 포인트 기반 및 보셀 기반 맥락을 나타내는 작게, 중간, 크게 커널의 다중 분기 특징을 융합하기 위해 AF2M을 제안한다.
• 해석기(decoder)에서 AFSM을 도입하여 다중 스케일 특징을 적응적으로 재가중하고 선택한다.
• 잔차 백본을 갖춘 Minkowski Engine에서 엔드-투-엔드 3D 희소 CNN을 구축한다.
• 지수-로그, 기하 지향 비등방성, Lovász 손실을 결합한 합성 손실을 사용한다(가중치: 각각 1, 1.5, 1.5).
• LiDAR 프레임을 좌표 C와 특징 F(x,y,z, 강도, 법선)을 갖는 희소 텐서로 처리하여 per-point 분할을 수행한다.

실험 결과

연구 질문

• RQ1 AF2M이 희소 3D LiDAR 데이터의 국소적 미세 디테일과 전역 컨텍스트를 모두 포착할 수 있는가?
• RQ2 Adaptive Feature Selection Module이 디코더에서 다중 스케일 특징을 재가중하여 일반화를 개선하는가?
• RQ3 SemanticKITTI, nuScenes-lidarseg, ModelNet40에서 (AF)²-S3Net은 최첨단과 비교하여 어떤 성능을 보이는가?
• RQ4 결합 손실(Exponential-Log, geo-aware anisotropic, Lovász)이 분할 정확도에 미치는 영향은 무엇인가?

주요 결과

• (AF)²-S3Net은 SemanticKITTI 테스트 세트에서 평균 IoU 69.7로 최첨단을 달성하여 SPVNAS 및 MinkNet42 기반선보다 우수하다.
• 해당 방법은 특히 Bicycle(65.4), Motorcycle(86.8), Pole(61.5)와 같은 소형 물체 클래스에서 강력한 클래스별 이점을 보인다.
• nuScenes-lidarseg 검증에서 (AF)²-S3Net은 평균 IoU 62.2 및 FW IoU 83.0을 달성하여 MinkNet42 및 SalsaNext 기반선을 능가한다.
• 절단 연구에서 AF2M과 AFSM을 함께 사용하면 68.6 mIoU를 달성하고 Lovász 및 기하 지향 손실을 더하면 SemanticKITTI 검증에서 74.2 mIoU에 도달한다.
• AF2M으로 ModelNet40 분류에서 전체 정확도 93.16%를 달성하며 최첨단 포인트 기반 방법과 비교 가능하다.
• 정성적 결과는 미세 디테일 포착(예: 자동차, 식생) 개선 및 거리 기반 성능 향상을 시사한다.