[논문 리뷰] Semantic Segmentation for Real Point Cloud Scenes via Bilateral Augmentation and Adaptive Fusion

Shi Qiu, Saeed Anwar외 1명|arXiv (Cornell University)|2021. 03. 12.

3D Shape Modeling and Analysis참고 문헌 51인용 수 22

한 줄 요약

이 논문은 실세계 대규모 포인트 클라우드의 의미적 분할을 위한 새로운 포인트 기반 딥러닝 네트워크를 제안하며, 기하학적 및 의미적 단서를 사용하여 국소적 특징 표현을 향상시키는 양면적 컨텍스트 블록과 다중 해상도 특징을 통합하는 적응형 포인트 수준 융합 기법을 도입한다. 이 방법은 SOTA 성능을 달성하였으며, SemanticKITTI에서 59.9%의 mIoU를 기록하여 이전 방법들보다 평균 교차율에서 5.6% 향상되었다.

ABSTRACT

Given the prominence of current 3D sensors, a fine-grained analysis on the basic point cloud data is worthy of further investigation. Particularly, real point cloud scenes can intuitively capture complex surroundings in the real world, but due to 3D data's raw nature, it is very challenging for machine perception. In this work, we concentrate on the essential visual task, semantic segmentation, for large-scale point cloud data collected in reality. On the one hand, to reduce the ambiguity in nearby points, we augment their local context by fully utilizing both geometric and semantic features in a bilateral structure. On the other hand, we comprehensively interpret the distinctness of the points from multiple resolutions and represent the feature map following an adaptive fusion method at point-level for accurate semantic segmentation. Further, we provide specific ablation studies and intuitive visualizations to validate our key modules. By comparing with state-of-the-art networks on three different benchmarks, we demonstrate the effectiveness of our network.

연구 동기 및 목표

• 밀도 높은 실세계 포인트 클라우드에서 모호한 포인트 표현 문제를 해결하기 위해.
• 대규모 포인트 클라우드 분할에서 특징의 중복을 줄이고 모델 효율성을 향상시키기 위해.
• 포인트 수준에서 다중 해상도 특징을 융합하여 전반적 컨텍스트 이해를 향상시키기 위해.
• 중간 표현 없이 원시 포인트 클라우드를 직접 처리하는 강력한 엔드 투 엔드 네트워크를 개발하기 위해.
• 절단 분석 및 시각화 연구를 통해 이중 증강 및 적응형 융합의 효과를 검증하기 위해.

제안 방법

• 공유된 이웃 구조를 사용하여 국소 기하학적 및 의미적 특징을 동시에 증강하는 이중 컨텍스트 블록을 도입한다.
• 이중 오프셋과 기하학적 증강 손실을 활용한 견고한 집계 과정을 통해 국소 컨텍스트 표현을 정밀하게 개선한다.
• 다중 해상도 특징을 캡처하기 위해 다중 스케일 인코더-디코더 아키텍처를 사용한다.
• 다중 해상도 특징을 조합하기 위해 포인트 단위의 어텐션 가중치를 학습하는 적응형 융합 모듈을 적용하여 표현 품질을 향상시킨다.
• 전반적 컨텍스트에 기반해 특징 중요도를 동적으로 조정하기 위해 스위치-익스citation 메커니즘을 활용한다.
• 지역적 특징의 강건성을 향상시키기 위해 혼합 집계 전략에서 최대 풀링 및 평균 풀링 연산을 사용한다.

실험 결과

연구 질문

• RQ1 기하학적 및 의미적 특징의 이중 증강이 실 포인트 클라우드 환경에서 국소 컨텍스트 표현을 향상시키는가?
• RQ2 다중 해상도 특징을 포인트 수준에서 적응형으로 융합하는 것이 고정 또는 전역 융합 전략보다 더 나은 의미적 분할 성능을 내는가?
• RQ3 실세계 벤치마크에서 제안된 방법이 최신 기술 대비 정확도 및 효율성 측면에서 어떻게 비교되는가?
• RQ4 이중 블록 및 적응형 융합 모듈의 각 구성 요소가 전체 성능에 기여하는 정도는 어떠한가?
• RQ5 제안된 방법이 실내 및 실외 환경을 포함한 다양한 실세계 환경에서 일반화 가능한가?

주요 결과

• 제안된 네트워크는 SemanticKITTI 벤치마크에서 59.9%의 mIoU를 달성하여 이전 SOTA 방법보다 평균 교차율에서 5.6% 향상되었다.
• 자동차, 트럭, 오토바이 기사와 같은 소형 및 미세한 물체에서도 뛰어난 성능을 기록하여 국소화 정확도 향상을 입증하였다.
• 절단 분석 결과, 이중 블록 내 혼합 국소 집계(최대 풀링 및 평균 풀링)가 기준 모델 대비 2.1% mIoU 향상을 가져와 최고의 성능을 기록하였다.
• 간단한 덧셈 또는 연결보다 적응형 융합 모듈이 분할 정확도를 크게 향상시켰으며, 포인트 수준의 적응형 융합이 가장 높은 mIoU를 기록하였다.
• 경쟁적인 추론 속도(초당 4.8개 스캔)와 모델 복잡도를 유지하여 실세계 구현에 적합하다.
• 시각화 결과, 이 방법은 복잡한 장면 경계 및 소형 물체를 정확히 식별하는 반면, RandLA-Net과 같은 기준 모델은 이러한 영역을 잘못 분류하는 것으로 나타났다.