[論文レビュー] Fully Convolutional Multi-Class Multiple Instance Learning

Deepak Pathak, Evan Shelhamer+2 more|arXiv (Cornell University)|Dec 22, 2014

Image Retrieval and Classification Techniques参考文献 10被引用数 267

ひとこと要約

本稿では、画像レベルのラベルのみを用いて弱教師ありセマンティックセグメンテーションを実現する、完全畳み込み型の多クラス複数インスタンス学習（MIL）フレームワークを提案する。各クラスごとにスコアが最も高いピクセルを選択する多クラスMIL損失を用いて特徴表現とピクセル分類を同時に最適化することで、PASCAL VOC 2012テストセットで25.66%の平均交差率（mIoU）を達成し、ベースラインモデル比で96%の相対的改善を達成した。

ABSTRACT

Multiple instance learning (MIL) can reduce the need for costly annotation in tasks such as semantic segmentation by weakening the required degree of supervision. We propose a novel MIL formulation of multi-class semantic segmentation learning by a fully convolutional network. In this setting, we seek to learn a semantic segmentation model from just weak image-level labels. The model is trained end-to-end to jointly optimize the representation while disambiguating the pixel-image label assignment. Fully convolutional training accepts inputs of any size, does not need object proposal pre-processing, and offers a pixelwise loss map for selecting latent instances. Our multi-class MIL loss exploits the further supervision given by images with multiple labels. We evaluate this approach through preliminary experiments on the PASCAL VOC segmentation challenge.

研究の動機と目的

• ピクセルレベルのセマンティックセグメンテーションにおける高コストなアノテーションを低減するため、画像レベルのラベルのみを活用すること。
• 弱教師あり学習において、オブジェクト候補や事前定義されたインスタンス仮説の必要を排除すること。
• 完全畳み込みネットワーク内で、多クラスMIL損失を用いて深層特徴表現とピクセル分類器を同時に学習すること。
• マルチラベル画像におけるクラス間の競合を活用することで、隠れたオブジェクトインスタンスの明確化を向上させること。

提案手法

• モデルは、16層のVGGアーキテクチャに基づく完全畳み込みネットワーク（FCN）を用い、ImageNetで事前学習した重みからエンドツーエンドで微調整する。
• 多クラスMIL損失は、各画像の出力ヒートマップから各クラス（背景を含む）でスコアが最も高いピクセルを選択することで定義される。
• 損失はこれらの選択されたポイントでのみ計算され、バックプロパゲーションが可能になる一方、背景予測へのバイアスを回避する。
• 背景クラスは負例として機能し、正例クラスと競合することで、クラス間の混同を介して局所化精度を向上させる。
• 推論では、粗い予測を双一次補間により全画像解像度にまで拡大してピクセル単位のセグメンテーションを生成する。
• インスタンス仮説の生成を回避し、ワープやプロポーザルネットワークを用いない可変入力サイズをサポートする。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンド学習による完全畳み込みネットワークが、弱教師あり条件下で表現学習とピクセル分類を同時に最適化できるか。
• RQ2 弱教師ありセグメンテーションにおいて、単一クラスまたは二値MILと比較して、多クラスMIL損失が局所化精度をどのように向上させるか。
• RQ3 マルチラベル画像におけるクラス間競合が、潜在的オブジェクトインスタンスの区別をどの程度向上できるか。
• RQ4 強い教師信号や分類器の初期化なしに、退化解（例：すべて背景と予測する）を回避できるか。
• RQ5 ボクシングボックスアノテーションを必要とせずに、提案されたMIL損失がどのように情報豊かな学習インスタンスを選択できるか。

主な発見

• MIL-FCNはPASCAL VOC 2012テストセットで25.66%の平均交差率（mIoU）を達成し、分類器初期化を用いたベースラインと比較して96%の相対的改善を示した。
• 学習率0.0001、モーメンタム0.9、重み減衰0.0005の条件下で10,000イタレーション未満で収束し、高速かつ安定した学習が可能であることを示した。
• 共通クラスのImageNet分類器重みからの初期化により、退化解が防止され、検証データでのmIoUが3.52%から13.11%に向上した。
• オブジェクト候補、データ拡張、インスタンスレベルのアノテーションなしに強力な性能を達成し、画像レベルラベルのみに依存した。
• 粗い予測ポイントを損失計算に用い、その後補間することで、効率的でスケーラブルな学習と推論が可能になった。
• 図1の定性的な結果から、真値のボクシングボックスがなくても、モデルが一貫性があり空間的に整合性のあるセグメンテーションを生成することが示された。