[論文レビュー] Automatic classification of trees using a UAV onboard camera and deep learning

Masanori Onishi, Takeshi Ise|arXiv (Cornell University)|Apr 27, 2018

Remote Sensing and LiDAR Applications被引用数 23

ひとこと要約

本稿では、一般消費者向けのドローンとディープラーニングを用いて、標準的なRGB画像のみでコスト効率の高い自動樹木種分類手法を提示する。ドローン画像から個々の木の冠をセグメンテーションし、オブジェクトベースのディープラーニングを適用することで、7種の樹木種を89.0%の正確性で分類するシステムを構築した。これは、高価なマルチスペクトルセンサーを用いなくても高い性能が達成可能であることを示している。

ABSTRACT

Automatic classification of trees using remotely sensed data has been a dream of many scientists and land use managers. Recently, Unmanned aerial vehicles (UAV) has been expected to be an easy-to-use, cost-effective tool for remote sensing of forests, and deep learning has attracted attention for its ability concerning machine vision. In this study, using a commercially available UAV and a publicly available package for deep learning, we constructed a machine vision system for the automatic classification of trees. In our method, we segmented a UAV photography image of forest into individual tree crowns and carried out object-based deep learning. As a result, the system was able to classify 7 tree types at 89.0% accuracy. This performance is notable because we only used basic RGB images from a standard UAV. In contrast, most of previous studies used expensive hardware such as multispectral imagers to improve the performance. This result means that our method has the potential to classify individual trees in a cost-effective manner. This can be a usable tool for many forest researchers and managements.

研究の動機と目的

• 市販のドローンを用いた低コストで自動化された個々の樹木種分類システムの開発。
• 高価なマルチスペクトルまたはハイパースペクトル画像を必要とする従来のリモートセンシング手法の限界を克服すること。
• 標準的なRGB画像とディープラーニングを用いても、高い分類正確性が達成可能であることを実証すること。
• 森林研究者や土地管理者が実際に利用可能な、スケーラブルなツールの提供。

提案手法

• 一般市販のドローンに標準的なRGBカメラを搭載し、森林の画像を撮影した。
• 画像セグメンテーションを適用して、ドローン写真から個々の木の冠を分離した。
• セグメンテーションされた木の冠領域に基づいて、オブジェクトベースのディープラーニング手法を用いて樹木種を分類した。
• 公開済みのディープラーニングフレームワークを用いて、分類モデルの学習とデプロイメントを実施した。
• マルチスペクトルまたはハイパースペクトル入力を必要とせず、RGB画像データのみでモデルを学習した。
• 地上搭載またはフライト後の解析を想定し、リアルタイム処理に最適化されたパイプラインを構築した。

実験結果

リサーチクエスチョン

• RQ1 高価なマルチスペクトルセンサーを用いずに、標準的なRGBドローン画像で高精度な樹木種分類が可能か？
• RQ2 ドローン画像におけるセグメンテーション済みの木の冠にオブジェクトベースのディープラーニングを適用した場合、その有効性はいかほどか？
• RQ3 一般消費者向けのドローンハードウェアとオープンソースのディープラーニングツールのみを用いて、どの程度の分類正確性が達成可能か？
• RQ4 この手法は、森林モニタリングのための現在の高価なリモートセンシング技術に対する実用的で低コストな代替手段となり得るか？

主な発見

• 本システムは、標準的なRGBドローン画像のみを用いて、7種の樹木種を89.0%の全体的な分類正確性で達成した。
• 本手法は、高価なマルチスペクトル画像ハードウェアを必要とする多くの既存手法を上回った。
• セグメンテーション済みの木の冠にオブジェクトベースのディープラーニングを適用したことで、ピクセルベース手法と比較して分類性能が著しく向上した。
• 本アプローチはスケーラブルでコスト効率が良く、森林管理や生態学的研究における広範な利用が可能である。
• 最小限のハードウェア投資と公開済みのディープラーニングツールのみで、高い正確性が達成可能であることが実証された。
• 本研究は、市販技術を用いた自動樹木分類を現実の森林管理応用に展開可能であることを確認した。