[論文レビュー] Multi-View Semantic Labeling of 3D Point Clouds for Automated Plant Phenotyping

Bernhard Japes, Jennifer W. Mack+4 more|arXiv (Cornell University)|May 10, 2018

Remote Sensing and LiDAR Applications被引用数 8

ひとこと要約

本稿では、ブドウ房の3次元点群の意味的ラベリングのためのマルチビュー深層学習アプローチを提案する。適応されたSnapNetアーキテクチャを用い、ラシス、ベリー、ペダンクル、ツル、フックなどの植物部品を高い精度で分類する。この手法は、手動による特徴工学を不要とし、自動植物表型計測のための正確な表型特性抽出を可能にする。テストデータにおいて98.5%の精度と87.7%のAIoUを達成した。

ABSTRACT

Semantic labeling of 3D point clouds is important for the derivation of 3D models from real world scenarios in several economic fields such as building industry, facility management, town planning or heritage conservation. In contrast to these most common applications, we describe in this study the semantic labeling of 3D point clouds derived from plant organs by high-precision scanning. Our approach is optimized for the task of plant phenotyping with its very specific challenges and is employing a deep learning framework. Thereby, we report important experiences concerning detailed parameter initialization and optimization techniques. By evaluating our approach with challenging datasets we achieve state-of-the-art results without difficult and time consuming feature engineering as being necessary in traditional approaches to semantic labeling.

研究の動機と目的

• 植物育種における表型計測のボトルネックを解消し、3次元点群から3次元表型特性を自動的かつ高スループットで抽出することを目的とする。
• ブドウ房の高解像度3次元スキャンにおいて、植物部品（例：ラシス、ベリー、ペダンクル、ツル、フック）を分類する意味的ラベリングフレームワークの開発を目的とする。
• 訓練データから直接特徴を学習する深層学習ベースのアプローチを用いることで、人的に負担の大きい特徴工学を排除することを目的とする。
• モデルの性能を、制御されたラボ環境下での実際のブドウ房スキャンデータに対して評価することを目的とする。
• より細分化されたラベリングへの応用を検討し、例えばツルとサブツルの区別を可能とし、異なる品種や現地環境下での汎用性を評価することを目的とする。

提案手法

• RGB点群を入力として用い、3次元点群のマルチビュー意味的ラベリングに適応したSnapNet深層学習フレームワークを採用する。
• 3次元点群の2次元投影を処理するためのマルチビュー畳み込みニューラルネットワーク（CNN）を採用し、効率的な特徴学習を実現する。
• クラスの分布に応じた点群のランダムサンプリングを用いたデータオーグメンテーションにより、モデルのロバスト性を向上させる。
• ラシス、ベリー、ペダンクル、フック、ツル、サブツルのセマンティックカテゴリに分類する最終層として、ソフトマックス活性化関数を用いた全結合層を適用する。
• 交差エントロピー損失を用い、Adamによる最適化を行い、検証性能に基づいてハイパーパramータを調整することで、エンドツーエンドの学習を実施する。
• 精度と平均インターセクションオーバーユニオン（AIoU）を用いて性能を評価し、クラスごとの詳細な分析のための混同行列を併記する。

実験結果

リサーチクエスチョン

• RQ1 手動による特徴工学を伴わず、ブドウ房の3次元点群に対して高精度な意味的ラベリングを達成できるか？
• RQ2 3次元スキャンにおいて、形状が類似するベリーとフックをどれほど明確に区別できるか？
• RQ3 異なるブドウ品種や構造的複雑さの異なる状況において、モデルの汎用性はどの程度達成できるか？
• RQ4 ツルとサブツルといった細分化された構造を分類する際のモデルの性能はどのようであり、誤分類に影響を与える要因は何か？
• RQ5 高度なサンプリング戦略により、トレーニングデータにおける代表が不足している領域や隠蔽領域の学習能力が向上するか？

主な発見

• モデルはテストデータにおいて全体で98.5%の精度と87.7%の平均インターセクションオーバーユニオン（AIoU）を達成し、本タスクにおける最先端の性能を示した。
• 形状が似通ったフックとベリーを、わずか数例の外れ値誤分類を除き、うまく区別できた。
• 重なりや隠蔽がある複雑な構造においても、ラシス、ベリー、ペダンクルのラベリングが高精度で実現された。
• ツルとサブツルの誤分類は一般的に見られ、主に隠蔽とトレーニングサンプルにおける不均等なデータ分布に起因した。
• サブツルを含む6クラスラベリングでは、5クラス設定に比べて性能が低く、細分化された区別の学習における課題が浮き彫りになった。
• 今後の改善策として、サブツルに接続するツルの基部など、代表が不足しているクラスに重点を置いた再サンプリング戦略の導入が有効であると示唆された。