[論文レビュー] Classification of Bark Beetle-Induced Forest Tree Mortality using Deep Learning

Rudraksh Kapil, Seyed Mojtaba Marvasti-Zadeh+3 more|arXiv (Cornell University)|Jul 15, 2022

Forest Insect Ecology and Management被引用数 6

ひとこと要約

本稿では、ドローン航空写真を用いた樹木のクヌギバエによる死滅の4段階を分類するための、事前学習されたバックボーンを備えたRetinaNetに基づく深層学習手法を提案する。クラス不均衡に対処するためにアフィンワープを用いたデータ拡張を適用した結果、平均98.95%の高い正確性を達成し、ベースライン手法や従来の機械学習モデルを著しく上回った。

ABSTRACT

Bark beetle outbreaks can dramatically impact forest ecosystems and services around the world. For the development of effective forest policies and management plans, the early detection of infested trees is essential. Despite the visual symptoms of bark beetle infestation, this task remains challenging, considering overlapping tree crowns and non-homogeneity in crown foliage discolouration. In this work, a deep learning based method is proposed to effectively classify different stages of bark beetle attacks at the individual tree level. The proposed method uses RetinaNet architecture (exploiting a robust feature extraction backbone pre-trained for tree crown detection) to train a shallow subnetwork for classifying the different attack stages of images captured by unmanned aerial vehicles (UAVs). Moreover, various data augmentation strategies are examined to address the class imbalance problem, and consequently, the affine transformation is selected to be the most effective one for this purpose. Experimental evaluations demonstrate the effectiveness of the proposed method by achieving an average accuracy of 98.95%, considerably outperforming the baseline method by approximately 10%.

研究の動機と目的

• ドローンで取得した空中画像を用いて、クヌギバエによる木の死滅段階を自動的に分類する、深層学習に基づく手法の開発。
• クラス不均衡、重なった木の冠、非均一な葉の色あせといった課題の解決。
• 手動による特徴量設計に依存し、RGBデータのままでは性能が低い従来の機械学習手法の改善。
• さまざまなデータ拡張戦略が、少数クラスの一般化性能を向上させる効果を評価。
• 森林管理および流行の早期特定・抑止戦略のため、感染木の早期発見を可能にする。

提案手法

• DeepForestモデルを用いて木の冠検出に事前学習されたバックボーンを備えた、変更を加えたRetinaNetアーキテクチャを採用。
• 4つの明確な攻撃段階（緑色：健康、イエローカラー、レッド、葉なし：死滅）を分類するための浅いサブネットワークをエンドツーエンドで訓練。
• 複数回のフライトで取得した、異なる高度と時期のドローンによるRGB画像データセット上で、モデルを微調整。
• アフィンワープ、クロッピング、反転、ぼかし、回転、色合いの変更といったさまざまなデータ拡張技術を適用し、極めて不均衡なデータセットのバランスを取る。
• アフィンワープが、幾何的多様性を高めつつクラス分離性を保持できるため、最も効果的な拡張戦略と特定された。
• モデル性能の評価には、正確性、混同行列、t-SNE可視化を用い、さまざまな拡張戦略下でのクラス分離性を分析。

実験結果

リサーチクエスチョン

• RQ1 ドローン画像を用いて学習した深層学習モデルは、クヌギバエによる木の死滅段階を高い正確性で効果的に分類できるか？
• RQ2 さまざまなデータ拡張戦略は、木の冠画像データセットにおけるクラス不均衡の問題に対し、モデル性能にどのように影響するか？
• RQ3 木の冠検出に事前学習されたバックボーンを用いることで、学習から始めたりImageNetで事前学習されたモデルを用いるのと比較して、分類性能が向上するか？
• RQ4 色あせや幾何的歪みといった視覚的兆候がモデルの一般化に与える影響はどの程度か？また、拡張戦略はこれらの問題をどのように緩和できるか？
• RQ5 提案手法は、手作業で特徴量を設計する従来の機械学習モデルを、RGBデータそのものに対して上回ることができるか？

主な発見

• 提案手法は平均分類正確性98.95%を達成し、ベースライン手法（89%）を9.95ポイントも上回った。
• アフィンワープ拡張を適用したモデルが最高の性能を示した一方、色合いの変更は最も深刻な性能低下（83.90%の正確性）を引き起こし、色あせが視覚的兆候に基づく分類を混乱させることを示した。
• t-SNE可視化により確認されたように、アフィンワープはクラス分離性を損なわせることなく幾何的多様性を高め、最も効果的な拡張戦略であることが判明した。
• 混同行列からは、ほとんどのフライトでほぼ完璧な分類が達成されており、6月の60mフライトでのみ1件の誤分類（葉なしをレッドと分類）が観察された。これは、冠の重なりによるものと推定された。
• SVM、KNN、RFといった従来の機械学習モデルは、正確性がそれぞれ53.10%および40.24%にとどまり、RGBデータに手作業特徴量を適用する手法の限界を示した。
• アブレーションスタディにより、拡張が極めて重要であることが確認された。拡張なしでは正確性が97.69%に低下し、回転や色合いの変更といった他の戦略は性能を著しく低下させた。