[論文レビュー] Box-driven Class-wise Region Masking and Filling Rate Guided Loss for Weakly Supervised Semantic Segmentation

Chunfeng Song, Yan Huang+2 more|arXiv (Cornell University)|Apr 26, 2019

Advanced Neural Network Applications参考文献 46被引用数 15

ひとこと要約

本稿では、境界ボックスアノテーションのみを用いた弱教師付きセマンティックセグメンテーションのため、ボックス駆動型クラス別マスク（BCM）モデルと、フィリングレートを指針とするアダプティブ損失（FR-loss）を提案する。クラス固有のマスクを学習し、平均ピクセルフィリングレートを事前知識として用いて信頼性の高い領域選択を促進することで、分類精度を向上させるとともに、不正確な提案領域によるノイズを低減し、PASCAL VOC 2012で最先端の性能を達成した。

ABSTRACT

Semantic segmentation has achieved huge progress via adopting deep Fully Convolutional Networks (FCN). However, the performance of FCN based models severely rely on the amounts of pixel-level annotations which are expensive and time-consuming. To address this problem, it is a good choice to learn to segment with weak supervision from bounding boxes. How to make full use of the class-level and region-level supervisions from bounding boxes is the critical challenge for the weakly supervised learning task. In this paper, we first introduce a box-driven class-wise masking model (BCM) to remove irrelevant regions of each class. Moreover, based on the pixel-level segment proposal generated from the bounding box supervision, we could calculate the mean filling rates of each class to serve as an important prior cue, then we propose a filling rate guided adaptive loss (FR-Loss) to help the model ignore the wrongly labeled pixels in proposals. Unlike previous methods directly training models with the fixed individual segment proposals, our method can adjust the model learning with global statistical information. Thus it can help reduce the negative impacts from wrongly labeled proposals. We evaluate the proposed method on the challenging PASCAL VOC 2012 benchmark and compare with other methods. Extensive experimental results show that the proposed method is effective and achieves the state-of-the-art results.

研究の動機と目的

• 弱教師付き境界ボックスアノテーションからの正確なセマンティックセグメンテーションの学習という課題に取り組む。
• 境界ボックスから生成されるノイズの多いまたは不正確なピクセルレベルの提案が与える悪影響を軽減する。
• 平均フィリングレートといったグローバルな統計的ヒントを組み込むことで、モデルの一般化性能を向上させる。
• クラス固有のフィリングレート事前知識に基づき、動的に信頼性の高い予測領域を選択する手法を開発する。

提案手法

• 背景領域を抑制し、フォアグラウンドオブジェクトを強調するクラス固有のアテンションマップを学習するボックス駆動型クラス別マスク（BCM）モデルを提案する。
• 非教師付きCRFまたはMCGベースの手法を用いて、境界ボックスから初期のピクセルレベルの提案を生成する。
• 学習サンプル全体にわたる各クラスの平均ピクセルフィリングレートを、グローバル統計的事前知識として計算する。
• クラス固有のフィリングレートに基づいて、バックプロパゲーション中のトップ-kスコア選択を調整するフィリングレート指針型アダプティブ損失（FR-loss）を導入する。
• 各クラスの期待フィリングレートに重み付けされた、信頼性の高いスコアが高い領域を優先するように損失関数を適応させる。
• 弱教師付きおよび半教師付きの両設定に本手法を適用し、ロバスト性と一般化性能を示した。

実験結果

リサーチクエスチョン

• RQ1 クラス別マスクは、弱教師付きセマンティックセグメンテーションにおけるオブジェクト領域の局在化を改善できるか？
• RQ2 複数サンプルにわたる平均ピクセルフィリングレートは、弱教師付き学習における損失最適化を指針とする有効な事前知識となるか？
• RQ3 フィリングレートに基づくアダプティブ損失選択は、ノイズの多いまたは不正確な提案の影響を低減できるか？
• RQ4 提案手法は、境界ボックスアノテーションのみを用いてPASCAL VOC 2012で最先端の性能を達成できるか？

主な発見

• 提案手法は、境界ボックスによる監視のみを用いてPASCAL VOC 2012ベンチマークで最先端の性能を達成した。
• BCMモデルは、クラス固有のアテンションマップを学習することで、背景やごみだらけの領域を効果的に抑制した。
• FR-lossは、クラス固有のフィリングレート事前知識に基づき信頼性の高い予測を優先することで、モデルのロバスト性を顕著に向上させた。
• 本手法は半教師付き設定に対しても一般化が良く、限られた完全アノテーションデータでも強力な性能を維持した。
• 定性的な結果から、形状やフィリング比が異なるオブジェクトに対しても、より正確で一貫性のあるセグメンテーションマスクが得られていることが示された。
• 失敗事例は、隠蔽されたり布で覆われたオブジェクトなど、複雑なシーンにおける課題を浮き彫りにし、今後の改善の余地を示唆した。