[論文レビュー] From Image-Level to Pixel-Level Labeling with Convolutional Networks

Pedro O. Pinheiro, Ronan Collobert|arXiv (Cornell University)|Nov 23, 2014

Advanced Neural Network Applications参考文献 29被引用数 12

ひとこと要約

本論文は、分類の際の判別的ピクセルに注目させるようにCNNを訓練することで、画像ラベルのみを用いた弱教師ありオブジェクトセグメンテーション手法を提案する。モデルは、画像ラベルの监督のみと簡単なスムージング事前分布を用いてPascal VOCで42.0%のmAPを達成し、先行する弱教師あり手法を大きく上回り、完全教師ありの結果に近づく。

ABSTRACT

We are interested in inferring object segmentation by leveraging only object class information, and by considering only minimal priors on the object segmentation task. This problem could be viewed as a kind of weakly supervised segmentation task, and naturally fits the Multiple Instance Learning (MIL) framework: every training image is known to have (or not) at least one pixel corresponding to the image class label, and the segmentation task can be rewritten as inferring the pixels belonging to the class of the object (given one image, and its object class). We propose a Convolutional Neural Network-based model, which is constrained during training to put more weight on pixels which are important for classifying the image. We show that at test time, the model has learned to discriminate the right pixels well enough, such that it performs very well on an existing segmentation benchmark, by adding only few smoothing priors. Our system is trained using a subset of the Imagenet dataset and the segmentation experiments are performed on the challenging Pascal VOC dataset (with no fine-tuning of the model on Pascal VOC). Our model beats the state of the art results in weakly supervised object segmentation task by a large margin. We also compare the performance of our model with state of the art fully-supervised segmentation approaches.

研究の動機と目的

• ピクセルラベルのアノテーションではなく、画像ラベルのみを用いた最小限の監督のもとでオブジェクトセグメンテーションを実現すること。
• ImageNetで学習したモデルの特徴を転移させることで、画像分類タスクと密度予測タスクのギャップを埋めること。
• トレーニング中にボクシングボックスやセグメンテーションマスクを必要とせず、関連するピクセルを学習する方法を開発すること。
• 弱教師あり学習が完全教師ありのセグメンテーションモデルと比較して競争力のある性能を達成できることを示すこと。
• 複雑な事前分布に依存を最小限に抑えつつ、効果的なネットワークアーキテクチャとトレーニング制約によって高いセグメンテーション精度を維持すること。

提案手法

• ImageNetで画像ラベルのみを用いてCNNを訓練し、バックボーンとしてOverfeat特徴抽出器を活用する。
• 画像ラベル分類に寄与するピクセルに注目させるために、ネットワークの制約を課す新規アグリゲーション層（Log-Sum-Exponential）を導入する。
• 各画像を、ターゲットクラスの少なくとも1つの正例ピクセルを含む「バッグ」として扱う、複数インスタンス学習（MIL）フレームワークを適用する。
• 推論時、アグリゲーション層を削除し、学習済み特徴を用いて密度予測（ピクセル単位分類）を実行する。
• 推論後に、単純なスムージング事前分布（例：SP-sppxl、SP-bb、SP-seg）を適用し、セグメンテーションマスクを精緻化し、誤検出を低減する。
• Pascal VOCで微調整なしに、平均クラスごとの正確度と平均平均精度（mAP）を評価指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 画像ラベルのみで学習したCNNが、正確なオブジェクトセグメンテーションに十分なレベルで関連ピクセルを局所化できるか？
• RQ2 Log-Sum-Exponentialアグリゲーション層が、トレーニング中に判別的領域に注目させるためにどれほど効果的か？
• RQ3 単純なスムージング事前分布が、弱教師ありセグメンテーション予測の品質をどの程度向上できるか？
• RQ4 この弱教師あり手法の性能は、最先端の完全教師ありセグメンテーションモデルと比較してどの程度か？
• RQ5 ImageNetからPascal VOCへの転移学習が、微調整なしに十分な一般化性能を示し、競争力のあるセグメンテーション精度を達成できるか？

主な発見

• 提案手法は、画像ラベルの監督と単純な事前分布のみを用いて、Pascal VOC 2012の検証セットで42.0%のmAPを達成し、先行する弱教師あり手法を大きく上回った。
• SP-seg事前分布を追加した場合、'dog'クラスで56.8%、'sheep'クラスで55.4%のmAPを達成し、クラス特化型の性能が顕著に向上した。
• 従来の弱教師ありアプローチから平均クラスごとの正確度が30%から90%に向上し、顕著な性能向上が確認された。
• 最も単純な事前分布（SP-sppxl）を用いても36.6%のmAPを達成しており、強力な特徴学習と組み合わせれば、最小限のインダクティブバイアスでも十分であることが示された。
• いくつかのPascal VOCクラスでは、ほぼ最先端の性能を達成しており、'background'クラスでは79.6%のmAP、'car'クラスでは51.5%を記録し、完全教師ありの結果に近づいた。
• アブレーションスタディにより、Log-Sum-Exponential層が他のアグリゲーション関数よりも優れていることが確認され、全指標で最高の性能を示した。