[論文レビュー] SOUL model docker image for the paper: Semantic segmentation of sparse irregular point clouds for leaf/wood discrimination

Yuchen Bai, Jean-Baptiste Durand+2 more|arXiv (Cornell University)|May 26, 2023

Remote Sensing and LiDAR Applications被引用数 4

ひとこと要約

本稿では、葉と木の点を区別するため、スパースで不規則なUAV LiDAR点群のための、PointNet++に基づく深層学習モデルSOULを提案する。幾何的特徴工学と再バランス損失関数を用いて、クラス不均衡とスパarsityに対処し、UAVデータにおいて98.3%の精度と97.8%の再現率を達成し、最先端の性能を発揮した。

ABSTRACT

LiDAR (Light Detection and Ranging) has become an essential part of the remote sensing toolbox used for biosphere monitoring. In particular, LiDAR provides the opportunity to map forest leaf area with unprecedented accuracy, while leaf area has remained an important source of uncertainty affecting models of gas exchanges between the vegetation and the atmosphere. Unmanned Aerial Vehicles (UAV) are easy to mobilize and therefore allow frequent revisits to track the response of vegetation to climate change. However, miniature sensors embarked on UAVs usually provide point clouds of limited density, which are further affected by a strong decrease in density from top to bottom of the canopy due to progressively stronger occlusion. In such a context, discriminating leaf points from wood points presents a significant challenge due in particular to strong class imbalance and spatially irregular sampling intensity. Here we introduce a neural network model based on the Pointnet ++ architecture which makes use of point geometry only (excluding any spectral information). To cope with local data sparsity, we propose an innovative sampling scheme which strives to preserve local important geometric information. We also propose a loss function adapted to the severe class imbalance. We show that our model outperforms state-of-the-art alternatives on UAV point clouds. We discuss future possible improvements, particularly regarding much denser point clouds acquired from below the canopy.

研究の動機と目的

• 葉の点が木の点よりも著しく多い、スパースで不規則なUAV LiDAR点群におけるセマンティックセグメンテーションの課題に対処する。
• UAVを用いた森林モニタリングデータにおけるクラス不均衡と空間スパarsityに対処する。
• 森林LiDARで一般的に信頼性の低い強度データに依存しない、3次元座標のみに依存する手法を開発する。
• 幾何的事前知識と頑健な損失関数を用いることで、多様な森林タイプやセンサ構成にわたる一般化を向上させる。
• UAVプラットフォームを用いた正確で再現性の高いリモートセンシングによる葉面積モニタリングを可能にし、気候モデルや長期的な森林追跡に貢献する。

提案手法

• 不規則な点群からの階層的特徴学習のため、バックボーンネットワークとしてPointNet++を採用する。
• 洗練された局所的トレーニングサンプルを生成するため、新規の空間分割戦略であるGVD（Geometric Volume Division）を導入する。
• 異なるスケールで事前に計算された複数の幾何的特徴（例：直線性、球面度、垂直度、PCA1）を組み込み、局所的幾何的表現を強化する。
• トレーニング中にマイノリティクラス（木）の点をランダムにサンプリングすることで、勾配の安定化と損失分散の低減を図る再バランス損失関数を採用する。
• KNNベースのラベル伝播により、高密度のTLSデータからALSおよびULSデータのための擬似ラベルを生成し、UAVデータにおける教師あり学習を可能にする。
• スペクトルデータや強度データを排除し、3次元座標のみを用いてエンドツーエンドで学習することで、センサーや環境に依存しない頑健性を確保する。

実験結果

リサーチクエスチョン

• RQ1 強度データに依存しないで、スパースで不規則なUAV LiDAR点群において、高精度な葉/木セグメンテーションを達成できるか？
• RQ2 極端なクラス不均衡とデータスパarsity下でも、幾何的特徴工学がセグメンテーション性能を向上させる効果は何か？
• RQ3 再バランス損失関数は、不均衡な点群セグメンテーションにおいて勾配の不安定性をどれほど軽減し、モデル収束を改善するか？
• RQ4 SOULモデルは、熱帯林やUAVプラットフォームにとどまらず、さまざまな森林タイプやLiDAR取得モードにも一般化可能か？
• RQ5 標準的な空間分割と比較して、提案されたGVDサンプリング戦略は、トレーニング効率とセグメンテーション精度を向上させるか？

主な発見

• SOULはUAVデータにおける葉の点で98.3%の精度、97.8%の再現率、96.2%の全体精度を達成し、最先端手法を上回った。
• アブレーションスタディにより、さまざまなスケールで複数の幾何的特徴（例：直線性、球面度、垂直度）を用いることで、特に幹部検出において性能向上が確認された。
• 再バランス損失関数は、レアなマイノリティクラスの予測に起因する勾配のフラクチュエーションを著しく低減し、トレーニングの安定化に寄与した。
• SOULは、より単純な森林（例：温帯林）にも良好に一般化され、TLSやMLSを含む多様なLiDARデータにおいても有望な性能を示した。
• 低点群密度と強い隠蔽があるULSデータに対しても、特に冠層部で優れた性能を発揮した。
• ULSでは優れた性能を示したが、密度の高いTLSデータでは精度が低下したため、ドメイン固有のファインチューニングやデータ拡張の必要性が示唆された。