[論文レビュー] Label-PEnet: Sequential Label Propagation and Enhancement Networks for Weakly Supervised Instance Segmentation

Weifeng Ge, Sheng Guo+2 more|arXiv (Cornell University)|Oct 7, 2019

Advanced Neural Network Applications参考文献 43被引用数 14

ひとこと要約

Label-PEnet は、カリキュラム学習を用いて、4つのモジュール（マルチラベル分類、オブジェクト検出、インスタンス精錬、インスタンスセグメンテーション）を介して画像ラベルを段階的にピクセル単位の予測に改善する、逐次的かつ段階的なフレームワークを提案する弱教師付きインスタンスセグメンテーション手法である。最先端の性能を達成し、PASCAL VOC 2007 で 53.1% の mAP、VOC 2012 で 49.2% の mAP を記録し、従来の弱教師付き手法を上回り、完全教師ありの結果に近づいた。

ABSTRACT

Weakly-supervised instance segmentation aims to detect and segment object instances precisely, given imagelevel labels only. Unlike previous methods which are composed of multiple offline stages, we propose Sequential Label Propagation and Enhancement Networks (referred as Label-PEnet) that progressively transform image-level labels to pixel-wise labels in a coarse-to-fine manner. We design four cascaded modules including multi-label classification, object detection, instance refinement and instance segmentation, which are implemented sequentially by sharing the same backbone. The cascaded pipeline is trained alternatively with a curriculum learning strategy that generalizes labels from high-level images to low-level pixels gradually with increasing accuracy. In addition, we design a proposal calibration module to explore the ability of classification networks to find key pixels that identify object parts, which serves as a post validation strategy running in the inverse order. We evaluate the efficiency of our Label-PEnet in mining instance masks on standard benchmarks: PASCAL VOC 2007 and 2012. Experimental results show that Label-PEnet outperforms the state-of-the-art algorithms by a clear margin, and obtains comparable performance even with the fully-supervised approaches.

研究の動機と目的

• 画像ラベルのみから高精度なインスタンスセグメンテーションを達成する挑戦に応えること。これは、ピクセルラベル監視に比べてはるかに情報が少ない。
• 複数のオフライン段階に依存するか、粗いものから細かいものへの段階的予測改善に失敗する既存の弱教師付き手法の限界を克服すること。
• 畳み込みニューラルネットワークの階層的特徴学習能力を活用して、画像ラベルをピクセル単位の予測に伝搬する統合的かつエンドツーエンドで学習可能なフレームワークを構築すること。
• 分類特徴から顕著なオブジェクト部位を特定する提案補正モジュールを導入することで、検出およびセグメンテーションの精度を向上させること。

提案手法

• フレームワークは、共通のバックボーンネットワークを共有する4つの段階的なモジュール（マルチラベル分類、オブジェクト検出、インスタンス精錬、インスタンスセグメンテーション）から構成される。
• 段階的学習戦略を採用し、画像ラベルからピクセルラベルへの監視精度を段階的に向上させる。
• 分類ネットワークの特徴を活用して判別性の高いオブジェクト部位を特定し、逆順にオブジェクト提案を精錬する提案補正モジュールを導入する。
• 前の段階の特徴マップを後の段階の監視信号として使用することで、オブジェクトの位置とマスクの反復的精錬を可能にする。
• オブジェクト検出は前のモジュールの分類スコアでガイドされ、インスタンスセグメンテーションは前の段階で生成されたマスクをさらに精錬することで向上する。
• 全パイプラインは2段階の学習法で訓練される：まず段階的事前学習フェーズを経て、その後フォワード・バックワード学習ループを実行して性能をさらに向上させる。

実験結果

リサーチクエスチョン

• RQ1 画像ラベルから正確なピクセル単位のインスタンスセグメンテーションマスクに変換できるような、逐次的かつ段階的なディープラーニングフレームワークは、有効に機能するか？
• RQ2 複数のモジュールによる段階的精錬は、単一段階または非逐次的手法と比較して、弱教師付きインスタンスセグメンテーションの性能をどのように向上させるか？
• RQ3 分類ネットワークをどの程度活用して、重要なオブジェクト部位を特定し、局所化およびセグメンテーションの精度を向上させられるか？
• RQ4 分類ネットワークの特徴マップを分析する提案補正モジュールの統合が、検出およびセグメンテーションの性能向上に明確な効果をもたらすか？
• RQ5 このようなフレームワークは、画像ラベルのみを用いて完全教師あり手法と同等の性能を達成できるか？

主な発見

• PASCAL VOC 2007 のテストセットでは、Label-PEnet が 53.1% の mAP を達成し、次に良い手法（MEFF, OICR, HCP+DSD+OSSH3）を 1.9% 上回った。
• PASCAL VOC 2012 では、Label-PEnet が 49.2% の mAP を達成し、先行研究で報告された最新結果を 1.7% 上回った。
• VOC 2007 では 68.2% の CorLoc、VOC 2012 では 71.3% の CorLoc を達成し、それぞれ前回の最高値を 1.2% および 1.9% 上回った。
• インスタンスセグメンテーションモジュールは VOC 2007 で 51.3% の mAP を達成し、最終的なフォワード・バックワード学習で 53.1% に向上し、段階的事前学習に比べて 1.8% の向上を達成した。
• 弱教師付きセマンティックセグメンテーションベンチマークでは、Label-PEnet が平均 IoU 57.2% を達成し、AE-SPL や MCOF をそれぞれ 1.6% および 1% 上回った。
• アブレーションスタディにより、各モジュールが顕著に寄与することが確認された：mAP は分類のみで 26.9% から、検出と精錬後で 49.7% に上昇し、最終的にセグメンテーション後で 51.3% に達した。これは段階的精錬の有効性を示している。