[論文レビュー] Gated CRF Loss for Weakly Supervised Semantic Image Segmentation

Anton Obukhov, Stamatios Georgoulis+2 more|arXiv (Cornell University)|Jun 11, 2019

Advanced Neural Network Applications参考文献 62被引用数 55

ひとこと要約

本論文は未ラベルピクセルに対する Gated CRF 損失を弱教師付きセマンティックセグメンテーションに導入し、柔軟なカーネルと境界に焦点を当てた学習を可能にし、クリックベースおよびスクリブルベースの監督で高次元フィルタリングなしに最先端の結果を達成します。

ABSTRACT

State-of-the-art approaches for semantic segmentation rely on deep convolutional neural networks trained on fully annotated datasets, that have been shown to be notoriously expensive to collect, both in terms of time and money. To remedy this situation, weakly supervised methods leverage other forms of supervision that require substantially less annotation effort, but they typically present an inability to predict precise object boundaries due to approximate nature of the supervisory signals in those regions. While great progress has been made in improving the performance, many of these weakly supervised methods are highly tailored to their own specific settings. This raises challenges in reusing algorithms and making steady progress. In this paper, we intentionally avoid such practices when tackling weakly supervised semantic segmentation. In particular, we train standard neural networks with partial cross-entropy loss function for the labeled pixels and our proposed Gated CRF loss for the unlabeled pixels. The Gated CRF loss is designed to deliver several important assets: 1) it enables flexibility in the kernel construction to mask out influence from undesired pixel positions; 2) it offloads learning contextual relations to CNN and concentrates on semantic boundaries; 3) it does not rely on high-dimensional filtering and thus has a simple implementation. Throughout the paper we present the advantages of the loss function, analyze several aspects of weakly supervised training, and show that our `purist' approach achieves state-of-the-art performance for both click-based and scribble-based annotations.

研究の動機と目的

• セマンティックセグメンテーションにおけるアノテーション負担を弱教師付きで削減する動機付け。
• 完全監督なしで未ラベルピクセルを効果的に扱う損失関数を開発する。
• 高次元フィルタリングを用いず、柔軟なカーネル構成と境界に焦点を当てた Gated CRF 損失を導入する。
• クリックベースおよびスクリブルベースの注釈で最先端の結果を示す。

提案手法

• ラベル付きピクセルに対して標準的なCNNを部分的クロスエントロピーで訓練する。
• 未ラベルピクセルに proposed Gated CRF 損失を適用して文脈関係を符号化する。
• undesired ピクセルの影響をマスクする柔軟なカーネル構成を使用する。
• CRF から CNN へ文脈学習をオフロードし、Gated CRF を意味的境界に焦点させる。
• 実装を簡素に保つため高次元フィルタリングを回避する。

実験結果

リサーチクエスチョン

• RQ1 Gated CRF 損失は境界に焦点を当てつつ undesired な領域をマスクすることで弱教師付きセマンティックセグメンテーションを改善できるか。
• RQ2 Gated CRF 損失は複雑なフィルタリングを用いず、クリックベースおよびスクリブルベースの両方の監督で最先端の性能を実現できるか。
• RQ3 提案損失は完全監督や他の弱教師付き手法と比較して効果と単純さの点でどうか。
• RQ4 学習アプローチは異なる弱教師信号（クリック、スクリブル）に対して頑健か。

主な発見

• クリックベースの注釈で最先端の性能を達成する。
• スクリブルベースの注釈で最先端の性能を達成する。
• Gated CRF 損失はカーネル構築に柔軟性を与え、境界に学習を集中させる。
• 手法は高次元フィルタリングに依存せず、実装が簡易である。
• 学習フレームワークは一般的で、特定の監督設定に過度に特化していない。