[論文レビュー] Pixel Objectness

Suyog Dutt Jain, Bo Xiong+1 more|arXiv (Cornell University)|Jan 19, 2017

Advanced Image and Video Retrieval Techniques参考文献 48被引用数 6

ひとこと要約

この論文は、1枚の画像内のすべての物体に類似した領域に対して、未学習の物体カテゴリに対しても、ピクセルレベルの前景セグメンテーションを生成する、エンドツーエンドの深層学習フレームワークであるPixel Objectnessを紹介する。トレーニング時に画像レベルのラベルと疎な境界線アノテーションを組み合わせることで、ImageNetおよびMIT Object Discoveryで最先端の性能を達成し、100万枚を超える未学習の画像に対しても効果的に一般化でき、画像検索やリターゲティングなどの下流タスクを向上させる。

ABSTRACT

We propose an end-to-end learning framework for generating foreground object segmentations. Given a single novel image, our approach produces pixel-level masks for all object-like regions---even for object categories never seen during training. We formulate the task as a structured prediction problem of assigning foreground/background labels to all pixels, implemented using a deep fully convolutional network. Key to our idea is training with a mix of image-level object category examples together with relatively few images with boundary-level annotations. Our method substantially improves the state-of-the-art on foreground segmentation for ImageNet and MIT Object Discovery datasets. Furthermore, on over 1 million images, we show that it generalizes well to segment object categories unseen in the foreground maps used for training. Finally, we demonstrate how our approach benefits image retrieval and image retargeting, both of which flourish when given our high-quality foreground maps.

研究の動機と目的

• すべての画像に対して濃密なアノテーションを必要とせずに、正確なピクセルレベルの物体セグメンテーションを生成する手法を開発すること。
• トレーニング時に登場しなかった物体カテゴリへ一般化する課題に対処すること。
• ImageNetやMIT Object Discoveryのようなベンチマークデータセットにおける前景セグメンテーションの性能を向上させること。
• 最小限のアノテーション作業で大規模な画像コレクションへの実用的導入を可能にすること。
• 画像検索やリターゲティングなどの下流アプリケーションにおける有効性を示すこと。

提案手法

• アプローチは、完全畳み込みネットワークを用いて、各ピクセルに前景／背景ラベルを割り当てる構造的予測問題として前景セグメンテーションを定式化する。
• トレーニング時に画像レベルの物体カテゴリラベルと、少数の画像における境界線レベルのアノテーションの組み合わせを活用する。
• ネットワークはエンドツーエンドで学習され、ピクセル単位のマスクを予測することで、未学習の物体カテゴリへのゼロショット一般化を可能にする。
• アーキテクチャは完全畳み込み層を用いて空間分解能を維持し、画像全体にわたる密度予測をサポートする。
• 混合監視により、画像レベルのラベルから特徴を学習するとともに、境界線アノテーションを用いてオブジェクト境界を精緻化する。
• スケーラブルで効率的なフレームワークであり、大規模な画像コレクションにおける推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 画像レベルおよび疎な境界線アノテーションのみを用いて、高品質なピクセルレベルの物体セグメンテーションを達成できるか？
• RQ2 トレーニング時の前景マップに存在しない物体カテゴリに対して、モデルの一般化性能はどの程度か？
• RQ3 画像レベル＋境界線レベルの混合監視が、セグメンテーション精度および一般化性能に与える影響は何か？
• RQ4 生成された前景マップは、画像検索やリターゲティングなどの下流ビジョンタスクを向上させられるか？
• RQ5 ImageNet や MIT Object Discovery のような大規模データセットにおいて、この手法の性能はいかがなものか？

主な発見

• 本手法は、ImageNetおよびMIT Object Discoveryデータセットにおいて、前景セグメンテーションで最先端の性能を達成した。
• トレーニング時に登場しなかった物体カテゴリを含む100万枚を超える画像に対し、効果的な一般化が可能である。
• 高品質な前景マップを提供することで、画像検索および画像リターゲティングの性能が顕著に向上した。
• 画像レベルラベルに加え、疎な境界線アノテーションを組み合わせた混合監視により、最小限のアノテーションコストで高い性能が達成された。
• 未学習の物体カテゴリへの強力なゼロショット一般化を示した。これは、先行手法と比較して顕著な進歩である。