[논문 리뷰] A new weakly supervised approach for ALS point cloud semantic segmentation

Puzuo Wang, Wei Yao|arXiv (Cornell University)|2021. 10. 04.

Remote Sensing and LiDAR Applications인용 수 4

한 줄 요약

이 논문은 희소하고 불완전한 레이블만을 사용하여 ALS 포인트 클라우드의 의미적 분할을 위한 경량이며 약한 지도 학습 기반의 딥러닝 프레임워크를 제안한다. 엔트로피 정규화, 앙상블 기반의 일致성 제약 조건, 온라인 소프트 가짜 레이블링을 통합함으로써, 분류 정확도가 크게 향상되었으며, ISPRS Vaihingen 데이터셋에서 단지 0.1%의 레이블을 사용함에도 불구하고 전체 정확도 83.0%와 평균 F1 점수 70.0%를 달성하여 기존의 약한 지도 학습 방법을 뛰어넘고, 완전 지도 학습 성능에 가까워졌다.

ABSTRACT

While there are novel point cloud semantic segmentation schemes that continuously surpass state-of-the-art results, the success of learning an effective model usually rely on the availability of abundant labeled data. However, data annotation is a time-consuming and labor-intensive task, particularly for large-scale airborne laser scanning (ALS) point clouds involving multiple classes in urban areas. Thus, how to attain promising results while largely reducing labeling works become an essential issue. In this study, we propose a deep-learning based weakly supervised framework for semantic segmentation of ALS point clouds, exploiting potential information from unlabeled data subject to incomplete and sparse labels. Entropy regularization is introduced to penalize the class overlap in predictive probability. Additionally, a consistency constraint by minimizing the discrepancy distance between instant and ensemble predictions is designed to improve the robustness of predictions. Finally, we propose an online soft pseudo-labeling strategy to create extra supervisory sources in an efficient and nonpaprametric way. Extensive experimental analysis using three benchmark datasets demonstrates that in case of sparse point annotations, our proposed method significantly boosts the classification performance without compromising the computational efficiency. It outperforms current weakly supervised methods and achieves a comparable result against full supervision competitors. For the ISPRS 3D Labeling Vaihingen data, by using only 0.1% of labels, our method achieves an overall accuracy of 83.0% and an average F1 score of 70.0%, which have increased by 6.9% and 12.8% respectively, compared to model trained by sparse label information only.

연구 동기 및 목표

• 대규모 ALS 포인트 클라우드 의미적 분할에서의 높은 표기 부담을 줄이기 위해.
• 희소하고 불완전한 레이블만을 사용하는 약한 지도 학습 환경에서 분류 성능를 향상시키기 위해.
• 기존의 딥러닝 네트워크와 호환 가능한 경량이며 효율적인 프레임워크를 개발하기 위해.
• 미레이블된 데이터와 예측 신뢰도의 잠재력을 탐색하여 모델의 강건성과 일반화 능력을 향상시키기 위해.

제안 방법

• 예측 확률 분포에서 클래스 겹침을 억제하기 위해 엔트로피 정규화를 도입하여 예측 신뢰도를 향상시킨다.
• 다양한 학습 단계 동안 현재 모델 예측과 앙상블 예측 간의 차이를 최소화하는 일치성 제약 조건을 적용한다.
• 미레이블된 데이터에 대한 모델 예측에서 동적으로 추가적인 지도 신호를 생성하기 위해 온라인 소프트 가짜 레이블링 전략을 활용한다.
• 기존 포인트 클라우드 분할 네트워크의 아키텍처를 대체하지 않고도 쉽게 통합할 수 있는 경량 프레임워크를 설계한다.
• 학습 중 예측 안정성과 불확실성 감소를 위해 이중 브랜치 앙상블 메커니즘을 사용한다.
• 희소 레이블에 대한 지도 학습 손실과 미레이블된 데이터로부터의 자기지도 학습 손실을 함께 최적화하여 학습 과정을 최적화한다.

실험 결과

연구 질문

• RQ1 ALS 포인트 클라우드의 의미적 분할 성능을 희소한 레이블 0.1%만으로 크게 향상시킬 수 있는가?
• RQ2 약한 지도 학습 하에서 엔트로피 정규화와 일치성 제약 조건이 예측 불확실성을 얼마나 효과적으로 줄이는가?
• RQ3 온라인 소프트 가짜 레이블링이 최소한의 표기 작업으로 모델의 일반화 능력을 얼마나 향상시킬 수 있는가?
• RQ4 희소 레이블만을 사용할 때, 제안된 방법이 완전 지도 학습 기준 모델과 어떻게 비교되는가?

주요 결과

• ISPRS Vaihingen 데이터셋에서, 이 방법은 단지 0.1%의 레이블만을 사용하여 전체 정확도 83.0%와 평균 F1 점수 70.0%를 달성하였으며, 순수히 희소 레이블로 학습된 기준 모델 대비 각각 6.9%, 12.8% 향상되었다.
• ISPRS, LASDU, H3D의 세 가지 벤치마크 데이터셋에서 기존의 약한 지도 학습 방법을 모두 능가한다.
• 단지 0.1%의 레이블만으로도 밀도가 높은 도시 환경에서 완전 지도 학습 모델과 유사한 성능을 달성한다.
• KPConv에 DualAttention를 통합했을 때 성능 향상이 유의미하게 발생하지 않아, 아키텍처 특화 설계 없이 일반적인 어텐션 모듈만으로는 충분하지 않음을 시사한다.
• 고성능의 계산 효율성을 유지하여 대규모 ALS 포인트 클라우드에 실질적인 구현에 적합하다.
• 문맥 정보를 추가했을 때 ISPRS 데이터셋에서 성능 저하가 관찰되어, 희소하고 저밀도이며 다수의 카테고리가 포함된 환경 처리에 잠재적인 한계가 있음을 시사한다.