[論文レビュー] Acquire, Augment, Segment & Enjoy: Weakly Supervised Instance Segmentation of Supermarket Products

Patrick Follmann, Bertram Drost+1 more|arXiv (Cornell University)|Jul 5, 2018

Industrial Vision Systems and Defect Detection参考文献 18被引用数 3

ひとこと要約

本論文では、画像レベルのクラスラベルのみを用いて、回転テーブルを用いた簡単な撮影法と高度なデータ拡張を活用し、最小限の手動アノテーションで高品質な学習データを生成することで、スーパーマーケット製品のインスタンスセグメンテーションを弱教師付きで行う手法を提案する。ドメインシフトが存在するが、68.9%の平均平均精度（mAP）を達成し、弱教師付き学習の期待を上回り、完全教師付きベースラインの80.1%に近い性能を示した。

ABSTRACT

Grocery stores have thousands of products that are usually identified using barcodes with a human in the loop. For automated checkout systems, it is necessary to count and classify the groceries efficiently and robustly. One possibility is to use a deep learning algorithm for instance-aware semantic segmentation. Such methods achieve high accuracies but require a large amount of annotated training data. We propose a system to generate the training annotations in a weakly supervised manner, drastically reducing the labeling effort. We assume that for each training image, only the object class is known. The system automatically segments the corresponding object from the background. The obtained training data is augmented to simulate variations similar to those seen in real-world setups.

研究の動機と目的

• 自動精算システムなどの産業的応用におけるインスタンスセグメンテーションの高いラベル付けコストを低減すること。
• 画像レベルのクラスラベルのみを用いて、手動によるアノテーションを最小限に抑えたディープラーニングモデルの学習を可能にすること。
• 制御された訓練画像と複雑な実世界のテストシーンとの間のドメインシフトに対処するため、特化したデータ拡張を実施すること。
• 弱教師付き学習が完全教師付きベースラインと比較して競争力のある性能を達成できることを示すこと。
• 制御された環境での特定の製品カテゴリ向けに、スケーラブルで低コストの学習データ生成パイプラインを開発すること。

提案手法

• 1枚の画像に1つのクラスラベルを付与し、回転テーブルを用いた単純な撮影により、基本的な画像処理によって自動的に前景セグメンテーションを実現する。
• 背景が均一な画像から、オツーのしきい値処理とモルフォロジカル操作を用いてオブジェクトマスクを抽出する。
• ランダムクロッピング、スケーリング、回転、色のジャマーリングなどのデータ拡張技術を適用し、実世界の変動を模倣する。
• 反射や重なった物体に対処するため、2つの新しい拡張ステージを導入する：照明変動のモデリングと遮蔽シミュレーション。
• 弱教師付きで拡張された学習データ上でインスタンスセグメンテーションモデル（例：Mask R-CNN）を学習する。
• ドメインシフト下で、弱教師付きモデルと完全教師付きベースラインの性能をD2Sデータセット上で比較評価する。

実験結果

リサーチクエスチョン

• RQ1 境界ボックスやピixeラベルが一切ない画像レベルのクラスラベルのみで、インスタンスセグメンテーションモデルを効果的に学習できるか？
• RQ2 単純な回転テーブル撮影からの自動マスク生成は、実用的な学習データを生み出すのにどの程度有効か？
• RQ3 制御された訓練画像と複雑な実世界のテストシーンとの間のドメインシフトを、どの程度データ拡張で緩和できるか？
• RQ4 産業的インスタンスセグメンテーションタスクにおいて、弱教師付き学習が完全教師付き手法と比較して競争力のある性能を達成できるか？
• RQ5 拡張された学習画像の数が、モデルの一般化性能にどの程度影響を与えるか？

主な発見

• ドメインシフト下で、弱教師付き手法はD2Sテストセットにおいて68.9%の平均平均精度（mAP）を達成した。完全教師付きベースラインは80.1%であった。
• クラスラベルと単純な撮影法のみを用いても、自動生成されたマスクは深層学習に適した高品質な学習データを提供した。
• 提案された照明変動と遮蔽の拡張ステージは、反射や重なった製品といった実世界の課題に対する耐性を顕著に向上させた。
• ある閾値を超えて拡張画像の数を増やしても性能向上が見られず、データの質と現実性が量よりも重要であることを示唆した。
• ラベル付き訓練画像の数が多くても、データ拡張は依然として有益であり、単なるデータ拡張を超えて一般化性能に寄与することが示された。
• 最小限のラベル付け作業で競争力のあるインスタンスセグメンテーション性能を達成でき、スーパーマーケット自動化における産業的導入が可能であることを示した。