[論文レビュー] TACO: Trash Annotations in Context for Litter Detection

Pedro F. Proença, Pedro Simões|arXiv (Cornell University)|Mar 16, 2020

Microplastics and Plastic Pollution参考文献 7被引用数 112

ひとこと要約

TACOはクラウドソーシングによって作成されたごみの検出とセグメンテーションの公開画像データセットであり、Mask R-CNNを用いて2つの分類法（TACO-1とTACO-10）で評価され、4分割交差検証を用いた。結果は有望だが、より多くの注釈と小さな物体に対する高解像度処理の必要性を示している。

ABSTRACT

TACO is an open image dataset for litter detection and segmentation, which is growing through crowdsourcing. Firstly, this paper describes this dataset and the tools developed to support it. Secondly, we report instance segmentation performance using Mask R-CNN on the current version of TACO. Despite its small size (1500 images and 4784 annotations), our results are promising on this challenging problem. However, to achieve satisfactory trash detection in the wild for deployment, TACO still needs much more manual annotations. These can be contributed using: http://tacodataset.org/

研究の動機と目的

• 野外での自動ごみ検出を向上させるため、文脈豊かなごみデータセットの作成を動機づける。
• TACOデータセット、注釈分類体系、およびクラウドソーシングツールの説明。
• 2つの分類法を用いて、ごみの検出とセグメンテーションに対するMask R-CNNの性能を評価する。
• 背景のバランスを取り訓練を強化するためのデータ拡張および転写（移植）手法を論じる。
• 注釈を拡張し、小さな物体の検出を改善する将来の方向性を特定する。

提案手法

• クラウドソーシングによる1500枚の高解像度画像と4784個のアノテーションを含むTACOを紹介する。
• ごみを、28のスーパーカテゴリにまたがる60のカテゴリからなる階層的分類体系で注釈し、Unlabeled litterクラスを追加する。
• Mask R-CNN（FPN付きResNet-50、入力1024x1024）を2つのタスクで評価する：TACO-1（クラスなしのごみに対する検出）とTACO-10（10のごみクラス）。
• 4分割交差検証（80/10/10スプリット）とIoU閾値全体でのAverage Precision (AP)を評価指標として用いる。
• APを最適化するため、Mask R-CNNの3つのランキングスコア（class_score、litter_score、ratio_score）を用いた実験。
• データ拡張（Gaussian blur、AWGノイズ、露出/コントラストの変化、回転）を適用し、訓練データを増強するために、320個の注釈済みインスタンスをFlickr画像に転写して移植する。

実験結果

リサーチクエスチョン

• RQ1 Can Mask R-CNN effectively detect and segment litter in diverse, real-world environments using the TACO dataset?
• RQ2 How does the choice of ranking score (class_score, litter_score, ratio_score) affect AP for litter detection and classification?
• RQ3 What is the impact of background variety and object size on detection performance, especially for tiny objects like cigarettes?
• RQ4 Does expanding the taxonomy from a single litter class (TACO-1) to multiple classes (TACO-10) improve discriminative performance or introduce confusion?
• RQ5 How can crowd-sourced annotations and tranplantation techniques improve training data for litter detection in the wild?

主な発見

Dataset	Class score	Litter score	Ratio score
TACO_1	15.9 ± 1.0	26.2 ± 1.0	26.1 ± 1.0
TACO_10	17.6 ± 1.6	18.4 ± 1.5	19.4 ± 1.5

• AP results depend on the scoring strategy; ratio_score improves AP for TACO-10 and does not reduce AP for TACO-1.
• Tiny objects (e.g., cigarettes) significantly reduce detection performance due to small bounding boxes after resizing.
• Cans and bottles are detected more reliably than cigarettes, with some confusion between Plastic bag and Other categories.
• Transplanting segmentations with soft masks via distance transforms reduces edge artifacts compared to hard transplantation.
• The dataset’s performance is promising but indicates substantial room for improvement with more annotations and higher input resolution.
• Some success is shown in handling transparent objects, but background diversity (e.g., ocean waves) still challenges generalization.