[論文レビュー] Can Image-Level Labels Replace Pixel-Level Labels for Image Parsing

Zhiwu Lu, Fu, Zhenyong+3 more|Mar 7, 2014

Advanced Image and Video Retrieval Techniques参考文献 4被引用数 26

ひとこと要約

この論文は、画像パーサーのための弱教師付きスパース学習（WSSL）フレームワークを提案している。このフレームワークは、高価なピクセル単位のラベルの代わりにノイジーな画像単位のタグを用いる。画像を領域に過剰にセグメンテーションし、L1最小化を用いて反復的に領域ラベルを精錬することで、75％までノイジーな画像単位のラベルが存在しても最先端の性能を達成する。これは、実際の応用において画像単位のラベルがピクセル単位の監視を効果的に代替できることを示している。

ABSTRACT

This paper presents a weakly supervised sparse learning approach to the problem of noisily tagged image parsing, or segmenting all the objects within a noisily tagged image and identifying their categories (i.e. tags). Different from the traditional image parsing that takes pixel-level labels as strong supervisory information, our noisily tagged image parsing is provided with noisy tags of all the images (i.e. image-level labels), which is a natural setting for social image collections (e.g. Flickr). By oversegmenting all the images into regions, we formulate noisily tagged image parsing as a weakly supervised sparse learning problem over all the regions, where the initial labels of each region are inferred from image-level labels. Furthermore, we develop an efficient algorithm to solve such weakly supervised sparse learning problem. The experimental results on two benchmark datasets show the effectiveness of our approach. More notably, the reported surprising results shed some light on answering the question: can image-level labels replace pixel-level labels (hard to access) as supervisory information for image parsing.

研究の動機と目的

• Flickrのようなソーシャル画像コレクションで一般的に見られる、ノイジーで不完全な画像単位のタグしか入手できない状況において、画像パーサーの課題に対処すること。
• 容易に入手可能な画像単位のラベルを活用することで、高価で時間がかかるピクセル単位のアノテーションの必要性を排除すること。
• 画像単位のラベルが信頼性が低くても、反復的なスパース学習により初期領域ラベルを精錬する、効率的でノイズに強い手法を開発すること。
• 画像単位のラベルがノイズを含んでも、実際の画像パーサーのタスクにおいてピクセル単位の監視を代替可能なことの実証すること。

提案手法

• Blobworld法を用いて、入力画像をすべて領域に過剰にセグメンテーションし、候補となるオブジェクト部品の集合を生成する。
• 領域-オブジェクトカテゴリの適合性に基づくラベル伝搬戦略を用いて、画像単位のタグから初期領域ラベルを推定する。
• ノイズを抑えるためにL1最小化を用いて、領域ラベルの精錬を弱教師付きスパース学習問題として定式化する。
• L1正則化最適化に基づく効率的な反復アルゴリズムを適用し、領域ラベルのスパarsityと一貫性を同時に強制する。
• オブジェクトカテゴリに関する事前知識と空間的整合性を統合し、ラベルスムージングをガイドして耐性を高める。
• 2段階のアプローチを用いてラベル精錬プロセスを最適化する：(1) 画像タグからの初期ラベル割り当て、(2) スパースコーディングによる反復的精錬。

実験結果

リサーチクエスチョン

• RQ1 ノイジーまたは不完全な画像単位のラベルでさえ、ピクセル単位のアノテーションが存在しない状況でも、高性能な画像パーサーを効果的に学習できるか？
• RQ2 画像パーサーのプロセス中に、画像単位のラベルのノイズをどのように体系的に低減できるか？
• RQ3 画像単位の監視しか利用できない状況において、弱教師付きスパース学習フレームワークが、既存の手法をどの程度上回ることができるか？
• RQ4 ノイジーな画像単位のタグとピクセル単位のラベルなしで、完全に教師ありの手法と同等の性能を達成することは可能か？

主な発見

• 提案されたWSSL手法は、画像単位のラベルに最大75％のノイズが混入しても、MSRCおよびVOC2007ベンチマークデータセットで最先端の性能を達成している。
• VOC2007データセットでは、ノイジーな画像単位のラベル設定下で、完全に教師ありのアプローチを含む既存の最先端手法を上回っている。
• VOC2007データセットにおいて、75％のノイズラベル下で平均交差率（mIoU）47％を達成しており、同じ条件下でのベースライン手法を顕著に上回っている。
• VOC2007データセット（15,000領域）では40秒で実行可能であり、比較可能な手法が47～145秒を要する中で、最も高速である。
• 両データセットの約半数のオブジェクトカテゴリにおいて、WSSL手法が最良の性能を達成しており、強力なカテゴリ固有の一般化能力を示している。
• 結果から、画像単位のラベルがノイズを含んでも、実世界の画像パーサー応用においてピクセル単位のラベルの代替として効果的に機能できることを示している。