[論文レビュー] Normalized Cut Loss for Weakly-supervised CNN Segmentation

Meng Tang, Abdelaziz Djelouah+3 more|arXiv (Cornell University)|Apr 4, 2018

Advanced Neural Network Applications参考文献 37被引用数 52

ひとこと要約

本論文は、scribbles の部分クロスエントロピーと全ピクセルに対する正規化カット正則化を組み合わせた、弱教師付き CNN 分割の共同損失を提案し、dense Gaussian カーネルを用いて効率的に実装し、scribble supervision で最先端の結果を達成し、完全監視に近い性能を得ている。

ABSTRACT

Most recent semantic segmentation methods train deep convolutional neural networks with fully annotated masks requiring pixel-accuracy for good quality training. Common weakly-supervised approaches generate full masks from partial input (e.g. scribbles or seeds) using standard interactive segmentation methods as preprocessing. But, errors in such masks result in poorer training since standard loss functions (e.g. cross-entropy) do not distinguish seeds from potentially mislabeled other pixels. Inspired by the general ideas in semi-supervised learning, we address these problems via a new principled loss function evaluating network output with criteria standard in "shallow" segmentation, e.g. normalized cut. Unlike prior work, the cross entropy part of our loss evaluates only seeds where labels are known while normalized cut softly evaluates consistency of all pixels. We focus on normalized cut loss where dense Gaussian kernel is efficiently implemented in linear time by fast Bilateral filtering. Our normalized cut loss approach to segmentation brings the quality of weakly-supervised training significantly closer to fully supervised methods.

研究の動機と目的

• ピクセル単位の正確なマスクへの依存を減らすことで弱教師付きセマンティックセグメンテーションを動機づける。
• ラベル付けされたピクセルの忠実度と正規化カットに触発されたグローバル正則化を組み合わせた principled な損失を提案する。
• シードから未ラベルピクセルへのラベル伝播を微分可能な損失層を通じて実現する。
• 正規化カット項を高速な双方向フィルタリングを用いて効率的に実装する。
• 提案損失が疎にラベル付けされたデータにおいて最先端の結果を達成することを示す。

提案手法

• ラベル付きシードの部分クロスエントロピーと全ピクセルに対する緩和された正規化カット項を組み合わせた画像ピクセル上の共同損失を定義する。
• 正規化カット正則化を定式化するためにRGBXY空間上の Dense Gaussian アフィニティを使用する。
• scribble ピクセルを ground-truth ラベルにクランプしてシードとして機能させつつ、未ラベル領域への自由な伝播を許容する。
• 正規化カット損失の微分可能な定式化とネットワーク出力に対する勾配を提供する。
• dense Gaussian カーネルを permutohedral lattice によって実装し、順伝搬と逆伝搬を線形時間で達成する。
• 標準的な CNN バックボーン（例：DeepLab 系統）でアプローチを評価し、PASCAL VOC 2012 の mIOU を報告する。

実験結果

リサーチクエスチョン

• RQ1 シードレベルの監視とグローバルなアフィニティに基づく正則化を組み合わせた半教師付き損失は、弱教師付き分割の性能を向上させるか。
• RQ2 正規化カット正則化は scribbles から未ラベルピクセルへのラベル伝播を改善するか。
• RQ3 密なアフィニティに対して正規化カット損失とその勾配を効率的に計算することは可能か。
• RQ4 この損失を用いた場合、scribble ベースの弱教師付き監視は完全監視分割にどれだけ近づけるか。

主な発見

• 共同損失は部分クロスエントロピーと正規化カットを組み合わせることで、scribble 監視下の PASCAL VOC 2012 val の mIOU が 65.1% を達成し、完全監視の 68.7% に近づく。
• scribbles のみでの部分クロスエントロピー損失は 55.8% の mIOU を示し、いくつかのセグメンテーション提案のベースラインを上回る。
• pCE の後に正規化カット正則化を追加すると性能が向上する（例：引用設定で NC なしが 60.5%、NC ありが 65.1%）。
• joint loss を用いて DeepLab-ResNet-101 を訓練すると 74.5% の mIOU になり、完全監視（76.8%）にほぼ近づく。
• 正規化カット項は dense Gaussian カーネルと permutohedral lattice を用いて線形時間で効率的に計算され、実用的な訓練を可能にする。