[論文レビュー] Semantic Segmentation for Partially Occluded Apple Trees Based on Deep Learning

Zijue Chen, David Ting+2 more|arXiv (Cornell University)|Oct 14, 2020

Remote Sensing and LiDAR Applications参考文献 20被引用数 9

ひとこと要約

本稿では、RGB-Dデータを用いた部分的遮蔽を受けたりんごの木のセマンティックセグメンテーションに対して、U-Net、DeepLabv3、およびディスクリミネータを有する・なしのPix2Pixを評価する。標準的な指標ではDeepLabv3が最も高い精度を達成しているが、Pix2Pix（ディスクリミネータなし）はノイズがやや高いにもかかわらず、遮蔽された枝構造をよりよく回復している。これは、農業ビジョン分野における遮蔽セグメンテーションの評価指標に深刻なギャップが存在することを示している。

ABSTRACT

Fruit tree pruning and fruit thinning require a powerful vision system that can provide high resolution segmentation of the fruit trees and their branches. However, recent works only consider the dormant season, where there are minimal occlusions on the branches or fit a polynomial curve to reconstruct branch shape and hence, losing information about branch thickness. In this work, we apply two state-of-the-art supervised learning models U-Net and DeepLabv3, and a conditional Generative Adversarial Network Pix2Pix (with and without the discriminator) to segment partially occluded 2D-open-V apple trees. Binary accuracy, Mean IoU, Boundary F1 score and Occluded branch recall were used to evaluate the performances of the models. DeepLabv3 outperforms the other models at Binary accuracy, Mean IoU and Boundary F1 score, but is surpassed by Pix2Pix (without discriminator) and U-Net in Occluded branch recall. We define two difficulty indices to quantify the difficulty of the task: (1) Occlusion Difficulty Index and (2) Depth Difficulty Index. We analyze the worst 10 images in both difficulty indices by means of Branch Recall and Occluded Branch Recall. U-Net outperforms the other two models in the current metrics. On the other hand, Pix2Pix (without discriminator) provides more information on branch paths, which are not reflected by the metrics. This highlights the need for more specific metrics on recovering occluded information. Furthermore, this shows the usefulness of image-transfer networks for hallucination behind occlusions. Future work is required to further enhance the models to recover more information from occlusions such that this technology can be applied to automating agricultural tasks in a commercial environment.

研究の動機と目的

• 果実間引きや剪定の時期に部分的遮蔽を受けたりんごの木のための頑健なセマンティックセグメンテーションモデルの不足を解消すること。
• U-Net、DeepLabv3、Pix2Pixという最先端のディープラーニングモデルが、遮蔽された枝をどのようにセグメンテーションできるかを評価すること。
• 遮蔽の難易度を定量化するための2つの新規指標、すなわち遮蔽難易度インデックスと深度難易度インデックスを導入すること。
• 最悪の性能を示した画像におけるモデルの性能を分析することで、既存の評価指標の欠陥を特定すること。
• ノイズ低減よりも遮蔽領域における構造的完全性の回復を重視する新しい指標の必要性を示すこと。

提案手法

• 2DオープンV型りんごの木のRGB-D画像を用いて、U-NetとDeepLabv3を教師ありセマンティックセグメンテーションモデルとして適用し、ピクセル単位の分類を実行する。
• 条件付きGANベースのPix2Pixを、ディスクリミネータあり・なしの両方で実装し、より現実的で文脈に即したセグメンテーションを生成する。
• モデルの性能を比較するために、バイナリ精度、Mean IoU、境界F1スコア、および遮蔽枝リコールを評価指標として用いる。
• 遮蔽された枝ピクセルの割合に基づいて遮蔽難易度インデックスを定義し、深度センサーの信頼性に基づいて深度難易度インデックスを定義する。
• 各難易度インデックスに基づいて最も悪い10枚の画像について、定性的および定量的分析を実施し、モデルの頑健性を評価する。
• 後処理と視覚的検査を用いて、生成された出力が遮蔽された枝の構造的連続性を保っているかどうかを評価する。

実験結果

リサーチクエスチョン

• RQ1 U-Net、DeepLabv3、Pix2Pixは、標準的指標と比較して、部分的遮蔽を受けたりんごの木の枝をどの程度正しくセグメンテーションできるか？
• RQ2 生成モデルであるPix2Pixは、従来のセグメンテーションモデルが見逃す遮蔽された枝構造をどの程度回復できるか？
• RQ3 遮蔽難易度インデックスと深度難易度インデックスは、モデル性能の低下とどの程度相関しているか？
• RQ4 IoU や F1 スコアといった標準的指標は、なぜ遮蔽された枝の回復の質を捉えていないのか？
• RQ5 Pix2Pixのジェネレータが生成するノイズは、遮蔽領域における構造的推論を向上させるために活用できるか？

主な発見

• DeepLabv3は、バイナリ精度（92.1%）、Mean IoU（84.3%）、境界F1スコア（82.6%）において最高の性能を示し、他のモデルを上回った。
• Pix2Pix（ディスクリミネータなし）は、遮蔽枝リコール（78.4%）で最高を記録し、U-Net（75.2%）とDeepLabv3（73.1%）を上回った。これは、隠れた枝構造の回復が優れていることを示している。
• 最悪の10枚の深度難易度画像において、U-Netは全モデルで最高の枝リコール（89.1%）と遮蔽枝リコール（75.2%）を達成し、深度センシングの品質が低い状況下でも優れた頑健性を示した。
• Pix2Pix（ディスクリミネータなし）は、ややノイズが多いにもかかわらず、遮蔽領域においてより視覚的に整合性のある枝のパスを生成した。これは、ノイズが標準的指標では捉えきれない構造的情報を含んでいる可能性を示唆している。
• 定性的な分析から、DeepLabv3とU-Netはクリアな出力を生成したが、遮蔽された枝に著しいギャップが生じていた。一方、Pix2Pixのノイズが多い出力は、より連続的なパスを保持していた。
• 本研究の結論として、従来の指標は遮蔽セグメンテーションの評価に不十分であり、ノイズ低減よりも構造的完全性の回復を重視する新しい指標の導入が不可欠であると結論づけた。