[論文レビュー] Fine-Grained Visual Classification of Plant Species In The Wild: Object Detection as A Reinforced Means of Attention

Matthew Keaton, Ram J. Zaveri+4 more|arXiv (Cornell University)|Jun 3, 2021

Species Distribution and Climate Change参考文献 36被引用数 6

ひとこと要約

本稿では、物体検出を用いてキーパート（葉、花、果実、茎、高密度葉：HDL）を局所化し、器官特化型分類器の予測を統合することで、野生の植物種の細分化された識別にボトムアップアプローチを提案する。この手法は、和集合ルールを用いて79.36%の正確性を達成し、個々の器官分類器やフル画像のResNet-18ベースラインを上回る性能を発揮する一方で、器官検出および器官ベースの分類のための公開可能な長尾データセットを提供する。

ABSTRACT

Plant species identification in the wild is a difficult problem in part due to the high variability of the input data, but also because of complications induced by the long-tail effects of the datasets distribution. Inspired by the most recent fine-grained visual classification approaches which are based on attention to mitigate the effects of data variability, we explore the idea of using object detection as a form of attention. We introduce a bottom-up approach based on detecting plant organs and fusing the predictions of a variable number of organ-based species classifiers. We also curate a new dataset with a long-tail distribution for evaluating plant organ detection and organ-based species identification, which is publicly available.

研究の動機と目的

• 野生の画像からの細分化された植物種識別における高いデータ変動性と長尾クラス分布の課題に対処すること。
• 物体検出を用いて判別能の高い植物器官を局所化することで、背景ノイズやクラス内ばらつきに対する耐性を高めること。
• 複数の器官ベース分類器からの予測を統合するフレームワークを構築し、全体の種識別正確性を向上させること。
• 植物器官検出および器官ベースの分類を評価するための新しい長尾データセットを構築・公開すること。

提案手法

• ボトムアップアプローチは、物体検出器を用いて野生画像内の植物器官（葉、花、果実、茎、高密度葉）を局所化する。
• 各検出された領域（ROI）は、器官特化特徴に基づいて学習された対応する器官ベースの種分類器に渡される。
• 和集合ルール、積集合ルール、または投票による統合戦略が、各器官の分類確率を統合して最終的な画像レベルの予測を生成する。
• 教師あり物体検出を活用することで、教師なし注目メカニズムへの依存を軽減し、長尾設定下での耐性を向上させる。
• 1,000種の植物を含み、長尾分布を有する新しいデータセットを収集した。葉のサンプルが3,568個、果実のサンプルが1,122個あり、5つの器官タイプのアノテーションが付与されている。
• 評価には、検出にはCOCOスタイルの平均適合率（AP）を、分類には正確性を用い、統合ルールのアブレーションを実施した。

実験結果

リサーチクエスチョン

• RQ1 物体検出は、野生の細分化された植物種識別において、より頑健で教師ありの注目メカニズムとして機能できるか？
• RQ2 複数の器官ベース分類器からの予測を統合することで、単一画像または単一器官アプローチと比較して、全体の種識別正確性がどの程度向上するか？
• RQ3 現実世界の植物画像データにおける長尾分布は、器官検出および器官ベースの分類の性能にどの程度影響を与えるか？
• RQ4 ボトムアップ的で器官局所化アプローチは、データの変動性や背景のごみの影響を緩和できるか？

主な発見

• 提案手法は、和集合ルール統合を用いて79.36%の種識別正確性を達成し、69.65%のResNet-18ベースラインを上回った。
• 和集合ルール統合戦略が、テストされた3つの統合手法の中で最高の正確性を示し、複数の器官予測の有効な統合を実証した。
• 器官ベース分類器は、豊富な器官（例：花で75.24%）では高い正確性を示したが、希少な器官（例：茎で58.24%、HDLで34.21%）では著しく性能が低下し、データ不足が顕著に現れた。
• 器官検出器は、新しいデータセットで全体で42.9%のAPを達成し、葉（40.9%）や茎（74.0%）では高い性能を示したが、より小さなまたは特徴が不明瞭な器官の検出には課題があった。
• データセットは顕著な長尾分布を示しており、161種が完全なROIデータと少なくとも130個の葉サンプルを有するが、多くの種が非常に少ない器官アノテーションを有する。
• 中程度の検出性能であったが、統合機構は誤検出を効果的にフィルタリングし、アノテーションのない検出を活用することで、高い最終的正確性を維持した。