[論文レビュー] A new weakly supervised approach for ALS point cloud semantic segmentation

Puzuo Wang, Wei Yao|arXiv (Cornell University)|Oct 4, 2021

Remote Sensing and LiDAR Applications被引用数 4

ひとこと要約

本稿では、点群のスパースで不完全なラベルのみを用いて、ALS点群の意味セグメンテーションのための軽量で弱教師付きの深層学習フレームワークを提案する。エントロピー正則化、アンサンブルベースの一貫性制約、およびオンラインソフト仮ラベル化を統合することで、分類精度が顕著に向上し、ISPRS Vaihingenデータセットにおいてわずか0.1%のラベル点のみを用いても、全体の正確度が83.0%、平均F1スコアが70.0%に達する。これは、既存の弱教師付き手法を上回り、完全教師あり学習の性能に近づく。

ABSTRACT

While there are novel point cloud semantic segmentation schemes that continuously surpass state-of-the-art results, the success of learning an effective model usually rely on the availability of abundant labeled data. However, data annotation is a time-consuming and labor-intensive task, particularly for large-scale airborne laser scanning (ALS) point clouds involving multiple classes in urban areas. Thus, how to attain promising results while largely reducing labeling works become an essential issue. In this study, we propose a deep-learning based weakly supervised framework for semantic segmentation of ALS point clouds, exploiting potential information from unlabeled data subject to incomplete and sparse labels. Entropy regularization is introduced to penalize the class overlap in predictive probability. Additionally, a consistency constraint by minimizing the discrepancy distance between instant and ensemble predictions is designed to improve the robustness of predictions. Finally, we propose an online soft pseudo-labeling strategy to create extra supervisory sources in an efficient and nonpaprametric way. Extensive experimental analysis using three benchmark datasets demonstrates that in case of sparse point annotations, our proposed method significantly boosts the classification performance without compromising the computational efficiency. It outperforms current weakly supervised methods and achieves a comparable result against full supervision competitors. For the ISPRS 3D Labeling Vaihingen data, by using only 0.1% of labels, our method achieves an overall accuracy of 83.0% and an average F1 score of 70.0%, which have increased by 6.9% and 12.8% respectively, compared to model trained by sparse label information only.

研究の動機と目的

• 大規模なALS点群意味セグメンテーションにおける重いアノテーション負荷を軽減すること。
• スパースで不完全なラベルのみを用いた弱教師付き環境下での分類性能を向上させること。
• 既存の深層学習ネットワークと互換性があり、軽量で効率的なフレームワークを開発すること。
• 未ラベルデータと予測の信頼性を活用して、モデルの頑健性と一般化性能を向上させる可能性を調査すること。

提案手法

• 予測確率分布におけるクラス重複を抑えるためにエントロピー正則化を導入し、予測の信頼性を向上させる。
• 複数の学習ステップにおける現在のモデル予測とアンサンブル予測の差を最小化する一貫性制約を適用する。
• 未ラベルデータに対するモデル予測から動的に追加の監督信号を生成するオンラインソフト仮ラベル化戦略を採用する。
• 既存の点群セグメンテーションネットワークに容易に統合できる軽量なフレームワークを設計する。
• 学習中の予測安定化と不確実性低減のため、二重ブランチアンサンブル機構を採用する。
• スパースラベルにおける監督損失と未ラベルデータからの自己教師学習損失を統合的に最適化することで、学習プロセスを最適化する。

実験結果

リサーチクエスチョン

• RQ1 ALS点群における意味セグメンテーション性能は、0.1%のラベルデータのみを用いて顕著に向上するか。
• RQ2 弱教師付き環境下で、エントロピー正則化と一貫性制約は予測不確実性をどれほど低減できるか。
• RQ3 オンラインソフト仮ラベル化は、最小限のアノテーション作業で、どの程度モデルの一般化性能を向上させられるか。
• RQ4 スパースラベルのみが利用可能な状況で、本手法は完全教師ありベースラインと比較してどの程度の性能を示すか。

主な発見

• ISPRS Vaihingenデータセットにおいて、本手法はわずか0.1%のラベル点のみを用いても、全体の正確度83.0%、平均F1スコア70.0%を達成した。これは、単独でスパースラベルで学習したベースラインモデルと比較して、それぞれ6.9%、12.8%の向上である。
• 本手法は、ISPRS、LASDU、H3Dの3つのベンチマークデータセットにおいて、既存の弱教師付きアプローチをすべて上回った。
• わずか0.1%のラベルでも、特に密集した都市部のシーンにおいて、完全教師ありモデルと同等の性能を達成した。
• KPConvにDualAttentionを統合しても顕著な性能向上が得られなかったため、アーキテクチャ固有の設計がなければ、一般的なアテンションモジュールだけでは十分ではない可能性がある。
• 計算効率が高く維持されており、大規模なALS点群における実世界での展開に適している。
• 文脈的情報を追加した場合、ISPRSデータセットでは性能劣化が観察された。これは、スパースで低密度かつ多クラスのシーンを処理する際の潜在的な限界を示唆している。