[論文レビュー] ZeroWaste Dataset: Towards Deformable Object Segmentation in Cluttered Scenes

Dina Bashkirova, Mohamed S. Abdelfattah+8 more|arXiv (Cornell University)|Jun 4, 2021

Advanced Neural Network Applications被引用数 4

ひとこと要約

本論文は、実際の素材回収施設（Materials Recovery Facilities）から収集された、極めて変形しやすく、半透明でごみだらけのリサイクル可能物のフレームを密にアノテートした、産業用ごみ検出の分野で最大の公開可能データセットであるZeroWasteを紹介する。このデータセットにより、完全教師あり、半教師あり、弱教師ありのセグメンテーションモデルのベンチマークが可能となり、最新の手法がクラス不均衡と文脈が乏しいシーンにおいて困難を抱えていることが明らかになった。これは、現実世界のロボット工学およびリサイクル応用分野におけるラベル効率の良い学習の必要性を強調している。

ABSTRACT

Less than 35% of recyclable waste is being actually recycled in the US, which leads to increased soil and sea pollution and is one of the major concerns of environmental researchers as well as the common public. At the heart of the problem are the inefficiencies of the waste sorting process (separating paper, plastic, metal, glass, etc.) due to the extremely complex and cluttered nature of the waste stream. Recyclable waste detection poses a unique computer vision challenge as it requires detection of highly deformable and often translucent objects in cluttered scenes without the kind of context information usually present in human-centric datasets. This challenging computer vision task currently lacks suitable datasets or methods in the available literature. In this paper, we take a step towards computer-aided waste detection and present the first in-the-wild industrial-grade waste detection and segmentation dataset, ZeroWaste. We believe that ZeroWaste will catalyze research in object detection and semantic segmentation in extreme clutter as well as applications in the recycling domain. Our project page can be found at http://ai.bu.edu/zerowaste/.

研究の動機と目的

• 産業用ごみ流における極めて変形しやすく、半透明でごみだらけのリサイクル可能物を検出・セグメンテーションするための高品質で現実世界のデータセットが不足しているという問題に対処すること。
• 極度の混雑とクラス不均衡な状況下におけるオブジェクト検出およびセマンティックセグメンテーションの分野における完全教師あり、半教師あり、弱教師あり学習の研究を可能にすること。
• 現実世界のリサイクル自動化およびより安全なMRF運用に適用可能な、データ効率的で頑健なコンピュータビジョンモデルの開発を支援すること。
• 限られたアノテーションデータを伴う産業的応用におけるラベル効率の良い学習技術の評価のためのベンチマークを提供すること。

提案手法

• ZeroWasteデータセットは、実際のコンベアベルトから収集されたもので、完全にアノテートされたフレーム（ZeroWaste-f）とラベルなしフレーム（ZeroWaste-s）を含み、半教師あり学習に用いる。
• データセットには、ソフトプラスチック、リキッドプラスチック、カーボン、金属の4つの前景クラスが含まれ、紙とコンベアベルトが背景である。
• クラス不均衡を緩和するために、TACOデータセットからのオブジェクトをZeroWasteに組み込むデータ拡張戦略を採用し、ZeroWaste-Augというバリエーションを生成した。
• ベースラインモデルには、完全教師あり学習のためのDeepLabV3+、ラベルなしデータを活用する半教師あり学習のためのReCoとCCT、弱教師ありセグメンテーションのためのCAMベースの手法（Puzzle-CAMおよびEPSを含む）が含まれる。
• 弱教師あり学習のための疑似ラベルは、0.45のしきい値を設定したクラス活性マップ（CAMs）を用いて生成され、タイルベースのマッチングによりオブジェクトカバレッジを向上させた。
• 評価は完全教師あり、半教師あり、弱教師ありの各設定で実施され、ピクセル精度と混同行列を用いて性能を測定した。

実験結果

リサーチクエスチョン

• RQ1 最先端の完全教師ありセグメンテーションモデルは、現実の産業用ごみ流に見られる極度の混雑と変形性に一般化できるか？
• RQ2 ZeroWaste-sサブセットからのラベルなしデータは、半教師あり学習においてどの程度性能向上に寄与するか？また、この文脈で有効なインダクティブバイアス（帰納的バイアス）は何か？
• RQ3 画像レベルのラベル（例：前後ラベル）のみを用いた弱教師あり手法は、頑健なモデルの学習に向けた意味のある疑似セグメンテーションマスクを生成できるか？
• RQ4 インスタンスレベルのデータ拡張（例：ZeroWaste-Aug）は、クラス不均衡なデータセットにおけるレアクラス（金属）の性能ギャップをどの程度是正できるか？

主な発見

• 完全教師ありのDeepLabV3+は、カーボンと紙を区別する際にわずか58％の精度にとどまり、微細なセグメンテーションにおける顕著な課題を示している。
• リキッドプラスチックのオブジェクトは頻繁にソフトプラスチックと誤分類されており、テクスチャーや形状の一般化に困難を抱えていることが浮き彫りになった。
• 金属オブジェクトは、元のデータセットにおける出現頻度が低いため、しばしば背景として分類されることがあり、クラス不均衡の影響が顕著に現れている。
• ZeroWaste-Augによるデータ拡張は、元のテストスプリットにおけるレアクラス（金属）のピクセル精度を向上させたが、リキッドプラスチックでは性能が低下しており、拡張戦略におけるトレードオフが顕在化した。
• ReCoを用いた半教師あり学習では、ラベルなしデータを活用しても性能が劣化しており、ReCoの文脈に基づく帰納的バイアスが、文脈が乏しく混雑したシーンでは効果を発揮しないことが示された。
• CCTはラベルなしデータを活用することでわずかな性能向上を示しており、対照的学習が、文脈に依存するモデルよりも、ドメインの視覚的複雑性に適していることが示唆された。