[論文レビュー] Treelogy: A Novel Tree Classifier Utilizing Deep and Hand-crafted Representations

İlke Çuğu, Eren Şener+5 more|arXiv (Cornell University)|Jan 28, 2017

Smart Agriculture and AI参考文献 20被引用数 16

ひとこと要約

Treelogyは、深層畳み込みニューラルネットワーク（CNN）特徴量と手作業で抽出した画像特徴量を融合させた新しい木分類器を提案し、57種の種で90.5％のトップ1正解率を達成した。本システムはCNNベースのセグメンテーションと茎の除去を実装し、fc6層のCNN特徴量と手作業で抽出した記述子を統合し、線形SVMを訓練することで、純粋なCNNまたは手作業特徴量のみを用いた手法を上回る性能を発揮した。

ABSTRACT

We propose a novel tree classification system called Treelogy, that fuses deep representations with hand-crafted features obtained from leaf images to perform leaf-based plant classification. Key to this system are segmentation of the leaf from an untextured background, using convolutional neural networks (CNNs) for learning deep representations, extracting hand-crafted features with a number of image processing techniques, training a linear SVM with feature vectors, merging SVM and CNN results, and identifying the species from a dataset of 57 trees. Our classification results show that fusion of deep representations with hand-crafted features leads to the highest accuracy. The proposed algorithm is embedded in a smart-phone application, which is publicly available. Furthermore, our novel dataset comprised of 5408 leaf images is also made public for use of other researchers.

研究の動機と目的

• 深層学習と従来の画像処理特徴量の両方を用いた高精度な木分類システムの開発。
• 純粋な手作業特徴量や純粋なCNNに依存する従来の手法の限界を克服し、微細な種の違いを捉え損なう可能性を低減すること。
• 今後の研究を支援するために、57種の木からなる5,408枚の前処理済み葉画像データセットを公開すること。
• 生態学者、教育者、自然愛好家が利用可能な実世界のモバイルアプリケーションに本システムを実装すること。
• 特徴量の融合が、単独で深層特徴量または手作業特徴量を使用する場合よりも分類性能を向上させることを示すこと。

提案手法

• エンドツーエンド学習を用いて、畳み込みニューラルネットワーク（CNN）を用いて、テクスチャのない背景から葉をセグメンテーションし、茎を除去する。
• カーブチャア記述子、形状記述子、マルチスケール距離行列などの画像処理技術を用いて、手作業で特徴量を抽出する。
• 事前学習済みCNN（データセット上で微調整済み）を用いて、fc6層およびfc7層からの深層表現を抽出する。
• 深層CNN特徴量（fc6またはfc7）と手作業特徴量ベクトルを連結し、4152次元の均一な特徴量ベクトルを生成する。
• 最終分類のため、融合特徴量ベクトル上で線形SVM（LSVM）を訓練する。
• 明示的な重みをCNN特徴量や手作業特徴量に割り当てず、LSVMの内在的特徴により重み付き融合戦略を実装する。

実験結果

リサーチクエスチョン

• RQ1 深層CNN特徴量と手作業特徴量を融合させることで、単独で使用するいずれのモodalでも達成できない高い木分類精度を実現できるか？
• RQ2 大規模で多様な葉画像データセット上で、ハイブリッドモデルの性能が純粋なCNNまたは手作業特徴量モデルと比較してどのように異なるか？
• RQ3 多様なソースからの前処理済みで高品質な葉画像の導入が、モデルの汎化性能と再現可能性をどの程度向上させるか？
• RQ4 このようなハイブリッドモデルを統合したモバイルアプリケーションが、現場で実用的かつリアルタイムの木同定を可能にするか？
• RQ5 高イントラクラス変動と低インタクラス差異を示す困難なデータセットにおいて、特徴量の融合が性能向上に寄与するか？

主な発見

• 手作業特徴量とfc6層のCNN特徴量を融合させた結果、57種のデータセットで最高のトップ1正解率90.5％を達成した。
• CNNのみのモデルでは84.62％のトップ1正解率を達成した一方、手作業特徴量のみでLSVMを用いた場合、89.62％の正解率を記録した。
• fc6特徴量と手作業特徴量の組み合わせは、両者の個別性能を上回り、マルチモーダル特徴量融合の利点を示した。
• Flaviaデータセット（32種、1,907枚）では、融合モデルが99.68％の正解率を達成し、純粋なCNNの98.44％を上回った。
• CNNのみを用いた場合、トップ5正解率は97.58％に達しており、モデルの信頼性が高かったが、トップ1正解率は特徴量融合によって最大値に達した。
• 5,408枚の前処理済み葉画像からなる公開データセットは、今後の葉ベースの植物分類研究を加速すると期待される。