[논문 리뷰] SOUL model docker image for the paper: Semantic segmentation of sparse irregular point clouds for leaf/wood discrimination

Yuchen Bai, Jean-Baptiste Durand외 2명|arXiv (Cornell University)|2023. 05. 26.

Remote Sensing and LiDAR Applications인용 수 4

한 줄 요약

이 논문은 흩어진 불규칙한 드론 기반 LiDAR 포인트 클라우드에서 잎과 나무 부분을 구분하기 위해 PointNet++ 기반의 딥러닝 모델 SOUL을 제안한다. 기하학적 특징 엔지니어링과 재균형 손실 함수를 사용하여 클래스 불균형과 희소성 문제를 해결하며, 드론 데이터에서 최신 기술 수준의 성능을 달성하여 잎 포인트에 대해 정밀도 98.3%와 재현율 97.8%를 기록한다.

ABSTRACT

LiDAR (Light Detection and Ranging) has become an essential part of the remote sensing toolbox used for biosphere monitoring. In particular, LiDAR provides the opportunity to map forest leaf area with unprecedented accuracy, while leaf area has remained an important source of uncertainty affecting models of gas exchanges between the vegetation and the atmosphere. Unmanned Aerial Vehicles (UAV) are easy to mobilize and therefore allow frequent revisits to track the response of vegetation to climate change. However, miniature sensors embarked on UAVs usually provide point clouds of limited density, which are further affected by a strong decrease in density from top to bottom of the canopy due to progressively stronger occlusion. In such a context, discriminating leaf points from wood points presents a significant challenge due in particular to strong class imbalance and spatially irregular sampling intensity. Here we introduce a neural network model based on the Pointnet ++ architecture which makes use of point geometry only (excluding any spectral information). To cope with local data sparsity, we propose an innovative sampling scheme which strives to preserve local important geometric information. We also propose a loss function adapted to the severe class imbalance. We show that our model outperforms state-of-the-art alternatives on UAV point clouds. We discuss future possible improvements, particularly regarding much denser point clouds acquired from below the canopy.

연구 동기 및 목표

• 잎 포인트가 나무 포인트보다 훨씬 많은 불규칙하고 희소한 드론 기반 LiDAR 포인트 클라우드에서 의미적 세분화의 과제를 해결한다.
• 드론 기반 산림 모니터링 데이터에서 발생하는 클래스 불균형과 공간적 희소성 문제를 해결한다.
• 산림 LiDAR에서 흔히 볼 수 있는 신뢰할 수 없는 강도 데이터를 피하기 위해 3D 좌표만에 의존하는 방법을 개발한다.
• 기하학적 사전 지식과 견고한 손실 함수를 활용하여 다양한 산림 유형과 센서 구성에서의 일반화 능력을 향상시킨다.
• 드론 플랫폼을 활용하여 기후 모델링과 장기적인 산림 추적을 위한 정확하고 반복 가능한 잎 면적 모니터링을 가능하게 한다.

제안 방법

• 비정규 포인트 클라우드에서 계층적 특징 학습을 위해 PointNet++를 백본 네트워크로 채택한다.
• 정교한 국소적 훈련 샘플을 생성하기 위해 새로운 공간 분할 전략인 GVD(Geometric Volume Division)를 도입한다.
• 다양한 척도에서 사전 계산된 기하학적 특징(예: 선형성, 구형도, 수직성, PCA1)을 통합하여 국소 기하학적 표현을 향상시킨다.
• 훈련 중 소수 클래스(나무) 포인트를 무작위로 샘플링하여 기울기 안정성과 손실 분산 감소를 도모하는 재균형 손실 함수를 적용한다.
• 고밀도 TLS 데이터에서 KNN 기반의 레이블 전파를 통해 ALS 및 ULS 데이터에 대한 가짜 레이블을 생성하여 드론 데이터에서의 지도 학습을 가능하게 한다.
• 스펙트럼 또는 강도 데이터를 배제하고 오직 3D 좌표만을 사용하여 엔드 투 엔드로 훈련함으로써 다양한 센서와 환경에서의 강인성을 확보한다.

실험 결과

연구 질문

• RQ1 강도 데이터에 의존하지 않고도 희소하고 불규칙한 드론 기반 LiDAR 포인트 클라우드에서 높은 정확도의 잎/나무 세분화를 달성할 수 있는가?
• RQ2 극심한 클래스 불균형과 데이터 희소성 조건에서 기하학적 특징 엔지니어링이 세분화 성능 향상에 얼마나 효과적인가?
• RQ3 재균형 손실 함수가 불균형 포인트 클라우드 세분화에서 기울기 불안정성과 수렴 문제를 어느 정도 완화하는가?
• RQ4 SOUL 모델은 열대 산림과 드론 플랫폼을 초월해 다양한 산림 유형과 LiDAR 획득 방식에 일반화되는가?
• RQ5 제안된 GVD 샘플링 전략은 기존 공간 분할 방식에 비해 훈련 효율성과 세분화 정확도 향상에 기여하는가?

주요 결과

• SOUL은 드론 데이터에서 잎 포인트에 대해 정밀도 98.3%, 재현율 97.8%, 전체 정확도 96.2%를 기록하며 최신 기술 수준의 방법을 초월한다.
• 제거 실험을 통해 다양한 척도에서 다수의 기하학적 특징(예: 선형성, 구형도, 수직성)을 사용할 경우, 특히 줄기 탐지에서 성능 향상이 확인된다.
• 재균형 손실 함수는 희귀 소수 클래스 예측으로 인한 기울기 변동성을 감소시켜 훈련을 크게 안정화시킨다.
• SOUL은 덜 복잡한 산림(예: 온대 산림)에 잘 일반화되며, TLS 및 MLS와 같은 다양한 LiDAR 데이터에서도 유망한 성능을 보인다.
• 낮은 포인트 밀도와 강한 가림을 겪는 ULS 데이터에서도 특히 관상층에서 뛰어난 성능을 보인다.
• ULS에서는 뛰어난 성능를 보였지만, 밀도가 높은 TLS 데이터에서는 정확도가 저하됨을 확인하여 도메인 특화의 미세조정 또는 데이터 증강이 필요함을 시사한다.