[論文レビュー] Development of Automatic Tree Counting Software from UAV Based Aerial Images With Machine Learning

Musa Ataş, Ayhan Talay|arXiv (Cornell University)|Jan 7, 2022

Remote Sensing and LiDAR Applications被引用数 7

ひとこと要約

本稿では、UAVから得られる航空画像と機械学習を用いた自動木の数え上げシステムを提示する。具体的には、RGBモダリティの画像に対してマルチレイヤーパーセプトロン（MLP）分類器を採用している。画像のステッチ、ノイズ除去、およびHSB、RGB、グレースケールでのオブジェクトラベリングの後、MLPは4つのキャンパス地域で平均87%の正確性を達成した。モデルのシリアル化とボーブ検出を用いることで、リアルタイム性能が実現された。

ABSTRACT

Unmanned aerial vehicles (UAV) are used successfully in many application areas such as military, security, monitoring, emergency aid, tourism, agriculture, and forestry. This study aims to automatically count trees in designated areas on the Siirt University campus from high-resolution images obtained by UAV. Images obtained at 30 meters height with 20% overlap were stitched offline at the ground station using Adobe Photoshop's photo merge tool. The resulting image was denoised and smoothed by applying the 3x3 median and mean filter, respectively. After generating the orthophoto map of the aerial images captured by the UAV in certain regions, the bounding boxes of different objects on these maps were labeled in the modalities of HSV (Hue Saturation Value), RGB (Red Green Blue) and Gray. Training, validation, and test datasets were generated and then have been evaluated for classification success rates related to tree detection using various machine learning algorithms. In the last step, a ground truth model was established by obtaining the actual tree numbers, and then the prediction performance was calculated by comparing the reference ground truth data with the proposed model. It is considered that significant success has been achieved for tree count with an average accuracy rate of 87% obtained using the MLP classifier in predetermined regions.

研究の動機と目的

• UAVから得られる航空画像を用いた機械学習を活用し、自動的かつリアルタイムに木の数を数えるソフトウェアシステムの開発を目的とする。
• 異なる画像カラー・モダリティ（RGB、HSB、グレースケール）における木の検出に、複数の機械学習分類器（MLP、SVM、KNN、ランダムフォレスト）の性能を評価することを目的とする。
• 提案モデルの予測正確性を検証するため、シーリル大学キャンパスにおける木の数のグランド・トゥルースを確立することを目的とする。
• ピクセル単位の分類とボーブ検出を組み合わせたリアルタイム処理パイプラインを実装し、効率的な木の数え上げを実現することを目的とする。
• 異なるカラー空間（RGB、HSB、グレースケール）における分類性能を比較し、木の検出に最適な入力モダリティを特定することを目的とする。

提案手法

• シーリル大学キャンパスの高分解能航空画像を取得するため、30メートルの高度でUAV飛行を実施し、20%の画像被りを確保した。
• Adobe Photoshopのフォトマージュツールを用いて、重複するUAV画像から1枚のオルソフォトマップを生成した。
• ノイズ低減とオルソフォトマップの滑らかさ向上のため、3×3のメディアンフィルタおよび平均化フィルタを適用した。
• HSB、RGB、グレースケールのモダリティでオブジェクトラベリングを行い、機械学習用の訓練・検証・テストデータセットを構築した。
• ラベル付きデータを用いて、4つの分類器（MLP、SVM、KNN、ランダムフォレスト）を10-fold交差検証法で訓練および検証した。
• Javaでのモデルシリアル化により、再訓練を回避し、実行時におけるリアルタイム推論を可能にした。
• 訓練済みMLPを用いてRGB画像のピクセル単位の分類を実行し、木、土壌、草地などの異なるクラスを識別するセグメンテーション画像を生成した。
• 2値化処理により木クラス1（黒色ピクセル）を分離し、その後ボーブ検出で個々の木の領域を特定した。
• サイズのしきい値に基づくボブフィルタリングにより、ノイズ由来の誤検出を排除した。
• OCLライブラリを用いて重心の計算とバウンディングボックスのオーバーレイを実行し、元の画像上に検出された木をマークし、数え上げた。

実験結果

リサーチクエスチョン

• RQ1 どの機械学習分類器がUAVから得られる航空画像からの木の検出において最も高い正確性を達成するか？
• RQ2 画像カラー・モダリティ（RGB、HSB、グレースケール）の選択が、木の検出アルゴリズムの分類性能にどのように影響を与えるか？
• RQ3 事前に訓練されたMLP分類器とモデルシリアル化を用いることで、リアルタイムの木の数え上げシステムを効果的に実装できるか？
• RQ4 サイズフィルタリングを施したボーブ検出は、ピクセル単位の分類後の木の数え上げの正確性をどの程度向上させるか？
• RQ5 実際のキャンパスデータにおけるグランド・トゥルースの木の数と照らし合わせた場合、提案システムの全体的な予測正確性はどの程度か？

主な発見

• MLP分類器は4つのテスト地域で平均87%の高い正確性を達成し、SVM、KNN、ランダムフォレストを上回った。
• RGBモダリティがHSBおよびグレースケールよりも優れた分類性能を示し、HSBはわずかに低いが近い結果を示した。
• グレースケール画像は、クラスの分離性が低下し、クラスの重複が増加するため、最も低い分類正確性を示した。
• Region-4は93%の最高個別正確性を達成した一方、Region-3は75%と最低であった。これは、異なる地形タイプにおける検出性能のばらつきを示している。
• Javaでのモデルシリアル化により、デプロイ時における再訓練を回避し、効率的なリアルタイム推論が可能になった。
• サイズしきい値を用いたボーブ検出と統合することで、誤検出が顕著に低減され、最終的な木の数え上げの信頼性が向上した。