[論文レビュー] A Deep Learning Approach Based on Graphs to Detect Plantation Lines

Diogo Nunes Gonçalves, Mauro dos Santos de Arruda+9 more|arXiv (Cornell University)|Feb 5, 2021

Remote Sensing and LiDAR Applications参考文献 36被引用数 4

ひとこと要約

本稿では、UAVベースのRGB航空画像における畝の検出のためのグラフベースの深層学習手法を提案する。視覚的特徴、線分確率、および変位ベクトルの整合性を活用して、植物間のエッジを畝の一部として分類する。本手法は、98.7%の精度、91.9%の再現率、95.1%のF1スコアを達成し、間隔開けやギャップを伴う畝パターンの検出において、最先端の手法を上回る性能を示した。

ABSTRACT

Deep learning-based networks are among the most prominent methods to learn linear patterns and extract this type of information from diverse imagery conditions. Here, we propose a deep learning approach based on graphs to detect plantation lines in UAV-based RGB imagery presenting a challenging scenario containing spaced plants. The first module of our method extracts a feature map throughout the backbone, which consists of the initial layers of the VGG16. This feature map is used as an input to the Knowledge Estimation Module (KEM), organized in three concatenated branches for detecting 1) the plant positions, 2) the plantation lines, and 3) for the displacement vectors between the plants. A graph modeling is applied considering each plant position on the image as vertices, and edges are formed between two vertices (i.e. plants). Finally, the edge is classified as pertaining to a certain plantation line based on three probabilities (higher than 0.5): i) in visual features obtained from the backbone; ii) a chance that the edge pixels belong to a line, from the KEM step; and iii) an alignment of the displacement vectors with the edge, also from KEM. Experiments were conducted in corn plantations with different growth stages and patterns with aerial RGB imagery. A total of 564 patches with 256 x 256 pixels were used and randomly divided into training, validation, and testing sets in a proportion of 60\%, 20\%, and 20\%, respectively. The proposed method was compared against state-of-the-art deep learning methods, and achieved superior performance with a significant margin, returning precision, recall, and F1-score of 98.7\%, 91.9\%, and 95.1\%, respectively. This approach is useful in extracting lines with spaced plantation patterns and could be implemented in scenarios where plantation gaps occur, generating lines with few-to-none interruptions.

研究の動機と目的

• 空中RGB画像における間隔開けや不規則な植物パターンを有する畝の検出という課題に対処すること。
• 従来の手法が破綻しやすいギャップ、孤立した植物、雑草の影響を受ける状況でも、線分検出のロバスト性を向上させること。
• 植物間の幾何的関係（変位ベクトルを介して）を深層学習フレームワークに統合し、線分検出の性能を向上させること。
• 異なる生育段階や複雑な畝の幾何形状に対しても汎用性を持つ手法を開発すること。
• グラフモデリングと深層特徴の統合が、リモートセンシング分野における線形オブジェクト検出にどのように効果をもたらすかを実証すること。

提案手法

• 256×256のRGB画像パッチ（トウモロコシ畝）から初期特徴マップを抽出するために、VGG16バックボーンを用いる。
• 知識推定モジュール（KEM）は、特徴マップを3つの並列ブランチで処理する：植物位置検出、線分確率推定、変位ベクトル計算。
• 各植物をグラフ内の頂点としてモデル化し、空間的近接性に基づいて隣接植物間にエッジを形成する。
• エッジが畝の一部かどうかの分類には、3つの確率を用いる：視覚的特徴の類似度、KEMから得られる線分に属する可能性、エッジに沿った変位ベクトルの整合性。
• 最終的な分類には、各確率成分に0.5の閾値を適用して、エッジが線分に属するかどうかを決定する。
• モデルは、564パッチを60%の訓練、20%の検証、20%のテストに分割してトレーニングおよび評価された。

実験結果

リサーチクエスチョン

• RQ1 従来の深層学習手法と比較して、グラフベースの深層学習モデルは、UAV RGB画像における間隔開け畝の検出を改善できるか？
• RQ2 変位ベクトルの整合性を組み込むことで、ギャップや孤立植物が存在する状況下での線分検出のロバスト性はどのように向上するか？
• RQ3 視覚的特徴、線分確率、幾何的整合性の統合は、複雑な農業的パターンにおける検出性能をどの程度向上させるか？
• RQ4 提案手法は、異なる生育段階や不規則な畝パターンを有するトウモロコシ畝においても汎用性を示せるか？
• RQ5 グラフモデリングと深層特徴の統合は、リモートセンシング応用における線形特徴抽出の性能を向上させるか？

主な発見

• 提案手法はテストデータにおいて、98.7%の精度、91.9%の再現率、95.1%のF1スコアを達成し、Deep Hough Transform や PPGNet といった最先端手法を顕著に上回った。
• KEMブランチに変位ベクトルの整合性を組み込むことで、孤立した植物や雑草に起因する誤検出が低減され、検出のロバスト性が向上した。
• 本モデルは、異なるトウモロコシの生育段階や不規則な畝パターン（特に大きなギャップを伴うもの）に対しても、強力な汎用性を示した。
• グラフベースのエッジ分類機構により、畝の線形的連続性が、わずか数個の中断でさえも効果的に捉えた。
• アブレーションスタディの結果、3番目のブランチ（変位ベクトルの整合性）が性能に不可欠であることが確認され、その削除により性能が著しく低下した。
• 本手法は、リモートセンシング画像における道路、河川、インフラ線路などの他の線形特徴抽出タスクへも応用可能である。