[論文レビュー] Training Deep Learning Algorithms on Synthetic Forest Images for Tree Detection

Vincent Grondin, François Pomerleau+1 more|arXiv (Cornell University)|Oct 8, 2022

Remote Sensing and LiDAR Applications被引用数 9

ひとこと要約

本論文では、UnityとGaiaを用いて生成された43,000枚の合成森の画像データセットを用いて、深層学習モデルの木の検出を訓練する手法を提案しており、実環境の画像へ強力な転移性能を示している。研究では、セグメンテーションと深度モダリティが検出精度を顕著に向上させることを示しており、キーポイント検出は平均5.2ピクセルの誤差で伐採切断位置を正確に推定可能である。

ABSTRACT

Vision-based segmentation in forested environments is a key functionality for autonomous forestry operations such as tree felling and forwarding. Deep learning algorithms demonstrate promising results to perform visual tasks such as object detection. However, the supervised learning process of these algorithms requires annotations from a large diversity of images. In this work, we propose to use simulated forest environments to automatically generate 43 k realistic synthetic images with pixel-level annotations, and use it to train deep learning algorithms for tree detection. This allows us to address the following questions: i) what kind of performance should we expect from deep learning in harsh synthetic forest environments, ii) which annotations are the most important for training, and iii) what modality should be used between RGB and depth. We also report the promising transfer learning capability of features learned on our synthetic dataset by directly predicting bounding box, segmentation masks and keypoints on real images. Code available on GitHub (https://github.com/norlab-ulaval/PercepTreeV1).

研究の動機と目的

• 深層学習モデルの訓練に必要なアノテート済みの森の画像が不足している問題に対処すること。
• 合成された森の画像で訓練された深層学習モデルの、木の検出、セグメンテーション、キーポイント予測における性能を評価すること。
• アノテーションの種別（バウンディングボックス、セグメンテーションマスク、キーポイント）およびモダリティ（RGB対比深度）がモデル性能に与える影響を調査すること。
• 合成データで訓練されたモデルが、実環境の森環境へどの程度転送可能かを評価すること。

提案手法

• UnityとGaiaを用いて、手続き的地形、木のモデル、動的天候／照明条件を備えた、43,000枚のリアルな合成森の画像を生成した。
• シミュレータの自動ラベル付けパイプラインを活用し、ピixe単位のアノテーション（バウンディングボックス、セグメンテーションマスク、キーポイント：直径、伐採切断位置、上部、中央）を適用した。
• インスタンスセグメンテーションおよびマルチタスク検出のため、合成データセット上でMask R-CNNを、ResNeXt-101およびResNet-101バックボーンで訓練した。
• バウンディングボックス、マスク、キーポイントの各タスクにおける平均精度（AP）指標を用い、合成画像および実画像の両方でモデル性能を評価した。
• RGBと深度モダリティの性能を比較し、伐採切断位置と直径推定におけるキーポイント予測の誤差分布を分析した。
• 微調整なしのゼロショット転送を実施し、定性的な検出およびセグメンテーション品質を評価した。

実験結果

リサーチクエスチョン

• RQ1 合成された森の画像で訓練された深層学習モデルの、木の検出性能はどの程度期待できるか？
• RQ2 バウンディングボックス、セグメンテーションマスク、キーポイントのうち、どのアノテーション形式が検出精度の向上に最も寄与するか？
• RQ3 RGB単体と比較して、深度モダリティを組み込むことで検出性能が向上するか？
• RQ4 合成データで訓練されたモデルが、実環境の森環境へどの程度転送可能か？

主な発見

• セグメンテーションマスクのアノテーションは、バウンディングボックスおよびキーポイント検出性能を顕著に向上させ、マルチタスク学習においてAP bbが59.25から58.34に、AP kpが80.19に上昇した。
• 合成データにおいて、深度モダリティはRGBを上回る性能を示し、すべての検出タスクで高い平均精度を達成した。
• キーポイント検出では、直径推定の平均ピクセル誤差が5.2ピクセルにとどまり、縦方向誤差（σ_y）が横方向誤差（σ_x）の約3倍にのぼり、垂直方向の位置特定が難しいことが示された。
• 実画像への転送において、モデルは高い正確性（precision）を示したが、低い再現率（accuracy）であったため、類似する木の外観には一般化がうまくいくものの、ドメインシフトに弱いことが示唆された。
• キーポイントブランチを追加すると、バウンディングボックスおよびマスクタスクの性能が低下したため、マルチタスク学習はキーポイント検出に比べて他のタスクにはあまり恩恵をもたらさないことがわかった。
• モデルは実画像に対してもセグメンテーションマスクおよびキーポイントを正常に予測でき、現実とのギャップが存在するものの、有望なゼロショット転送の可能性を示した。