[論文レビュー] An Image Labeling Tool and Agricultural Dataset for Deep Learning

Patrick Wspanialy, Justin Brooks+1 more|arXiv (Cornell University)|Apr 6, 2020

Smart Agriculture and AI参考文献 13被引用数 12

ひとこと要約

本論文は、農業分野のコンピュータビジョンを前進させるために、新規の画像ラベリングツールと、Plant Objects in COntext（POCO）データセットを紹介する。ツールは自由形式ポリゴンとフラッドフィル機能を備え、手動・準自動・完全自動のラベリングを可能にし、植物部品や病変領域の高精度なセグメンテーションを実現する。データセットは拡張されたCOO標準に準拠し、POCOメタデータを含む。温室、PlantVillage、Web収集画像から構成され、トマト10,000件、葉7,000件、茎2,000件、病変葉2,000件のラベルが付与されている。

ABSTRACT

We introduce a labeling tool and dataset aimed to facilitate computer vision research in agriculture. The annotation tool introduces novel methods for labeling with a variety of manual, semi-automatic, and fully-automatic tools. The dataset includes original images collected from commercial greenhouses, images from PlantVillage, and images from Google Images. Images were annotated with segmentations for foreground leaf, fruit, and stem instances, and diseased leaf area. Labels were in an extended COCO format. In total the dataset contained 10k tomatoes, 7k leaves, 2k stems, and 2k diseased leaf annotations.

研究の動機と目的

• ディープラーニング向けに大規模で公開可能かつ良好に構造化された農業画像データセットの不足を解消すること。
• 葉や果実のような複雑で曲がった自然対象を処理する際、既存のアノテーションツールの限界を克服すること。
• COCOエコシステムと互換性を持つ標準化されたデータセットフォーマットを採用することで、再現可能で明確な研究とベンチマークを可能にすること。
• 植物部品、病変、発育段階のピクセル単位のセグメンテーションを可能にすることで、農業分野における高度なシーン理解を実現すること。
• 成熟段階、植物ID、動的骨格構造などのメタデータを含むマルチモーダルアノテーションを支援すること。

提案手法

• キーボード/マウスショートカットとマウスジェスチャーを備えたカスタム画像ラベリングツールを開発し、アノテーションの効率を向上させた。
• クリック・ドラッグ・リリースで初期境界を生成する自由形式ポリゴンツールを導入し、調整可能な精度と頂点編集機能で微調整を可能にした。
• 一様な色領域を選択し、調整可能な色許容度と頂点数で囲いポリゴンを生成するフラッドフィルツールを実装した。
• ロールベースアクセス制御を備えたマルチユーザー環境を実現し、ユーザーが空の画像または他の人の作業のコピーから作業を開始できるようにし、一貫性と正確性を向上させた。
• COCO JSONフォーマットに基づいたデータセットフォーマットを設計し、成熟段階、植物ID、アノテーションごとの骨格構造といった植物固有のメタデータを格納するための「poco」属性を拡張した。
• ターゲット用途に応じて、植物部品、病害虫、時間経過による植物発育の3つのサブセットにデータセットを整理した。

実験結果

リサーチクエスチョン

• RQ1 葉や果実のような複雑で自然に曲がった農業的対象物に対して、どのようにしてアノテーションの効率と正確性を向上させられるか？
• RQ2 準自動および完全自動ツールは、セグメンテーションの正確性を保ちながら、どの程度手動アノテーションの作業負荷を削減できるか？
• RQ3 標準化された拡張COOフォーマットは、農業分野のコンピュータビジョンに特有のニーズを満たしつつ、既存ツールと互換性を保てるか？
• RQ4 成熟段階や植物IDといったメタデータの追加は、下流のモデル性能と再現可能性にどのように寄与するか？
• RQ5 ピクセル単位のアノテーションが施された、キュレートされた公開データセットが、ベンチマークと農業分野のコンピュータビジョン分野の進歩に与える影響は何か？

主な発見

• 従来の頂点クリック方式と比較して、自然で曲がった対象物のアノテーションにおいて、本ツールは著しく効率が向上した。自由形式ポリゴンが最も頻繁に使用された。
• データセットにはトマト10,000件、葉7,000件、茎2,000件、病変葉2,000件の合計21,000件のアノテート済みインスタンスが含まれており、多様なソースから構成されている。
• 「poco」メタデータフィールドを備えた拡張COOフォーマットは、標準COOツールとの互換性を損なわせることなく、豊富なアプリケーション固有の情報を格納可能である。
• 30日間にわたるトマトの生育過程を捉えた時間経過画像の統合により、植物発育およびフェノロジー追跡に関する研究が可能になった。
• データセットはPlantVillage、Google Images、および独自の温室データ収集から構成されており、多様性と現実世界の妥当性が向上した。
• 共有結果とバージョン管理を備えたマルチユーザーアノテーションシステムにより、共同での精練が可能となり、アノテーションの一貫性が向上し、誤差率が低下した。