[論文レビュー] Unsupervised Total Variation Loss for Semi-supervised Deep Learning of Semantic Segmentation

Mehran Javanmardi, Mehdi S. M. Sajjadi+2 more|arXiv (Cornell University)|May 4, 2016

Advanced Neural Network Applications参考文献 32被引用数 13

ひとこと要約

本論文は、空間的勾配のl1ノルムを用いて予測ラベル確率マップの区分的滑らかさを強制することで、半教師ありディープラーニングにおけるセマンティックセグメンテーションを正則化する非教師あり全変動（TV）損失を提案する。この方法は、教師あり交差エントロピー損失と組み合わせられ、特にラベルが疎な状況下で顕著な精度向上を達成しており、PASCAL、Sift Flow、NYUv2データセットにおいて、完全に教師ありのモデルやCRFを用いた後処理を上回る性能を示した。

ABSTRACT

We introduce a novel unsupervised loss function for learning semantic segmentation with deep convolutional neural nets (ConvNet) when densely labeled training images are not available. More specifically, the proposed loss function penalizes the L1-norm of the gradient of the label probability vector image , i.e. total variation, produced by the ConvNet. This can be seen as a regularization term that promotes piecewise smoothness of the label probability vector image produced by the ConvNet during learning. The unsupervised loss function is combined with a supervised loss in a semi-supervised setting to learn ConvNets that can achieve high semantic segmentation accuracy even when only a tiny percentage of the pixels in the training images are labeled. We demonstrate significant improvements over the purely supervised setting in the Weizmann horse, Stanford background and Sift Flow datasets. Furthermore, we show that using the proposed piecewise smoothness constraint in the learning phase significantly outperforms post-processing results from a purely supervised approach with Markov Random Fields (MRF). Finally, we note that the framework we introduce is general and can be used to learn to label other types of structures such as curvilinear structures by modifying the unsupervised loss function accordingly.

研究の動機と目的

• セマンティックセグメンテーションにおける高コストなデータアノテーション問題に対処し、疎なピクセルレベルのアノテーションから効果的に学習できるようにすること。
• ラベル付きピクセルの割合が非常に小さい場合に、純粋な教師ありディープラーニングの限界を克服すること。
• 区分的滑らかさといった自然画像の性質を活用した、一般化可能な非教師あり損失関数の開発。
• 空間的正則化として全変動を用いることで、半教師あり設定において後処理によるCRFの改善を上回ることの証明。
• バックプロパゲーション可能な損失関数を介して構造的事前知識を組み込むことで、ラベルデータが極めて限られた状況下でも、深層ニューラルネットワークがより良い解に収束することの実現。

提案手法

• 予測ラベル確率マップの空間的次元における勾配のl1ノルムをペナルティとする非教師あり全変動（TV）損失を提案する。
• ピクセル分類のための標準的な教師あり交差エントロピー損失と併せて、TV損失を訓練目的関数の正則化項として統合する。
• TV損失が微分可能であり、教師あり損失と同時に最適化可能であるため、バックプロパゲーションを用いて完全畳み込みネットワーク（FCNs）をエンドツーエンドで訓練する。
• 画像内の少数のピクセルのみがラベル付きであり、残りは非教師ありTV損失に使用される半教師あり設定で本手法を適用する。
• TV損失を用いて予測セグメンテーションマップにおける空間的文脈を暗黙的にモデル化し、CRFのペairwiseポテンシャルを模倣する滑らかさを強制する。
• ラベルの疎らかさが異なる3つのベンチマークデータセット（PASCAL、Sift Flow、NYUv2）を用い、ラベル付きピクセルの割合が0.03%から0.07%の範囲で変動する条件下で一般化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きピクセルが非常に少ない状況下で、全変動損失による空間的滑らかさの強制が、セマンティックセグメンテーションの精度向上に寄与するか？
• RQ2 ラベルが疎な状況下で、提案された非教師ありTV損失は、純粋な教師あり学習とCRFによる後処理と比較して、セグメンテーション精度で優れているか？
• RQ3 ラベルデータが極めて限られた状況下で、TV損失が解空間におけるより良い最小値への収束を助けるか？
• RQ4 ラベルの不均衡が原因でレアクラスの性能が低下する際、疎な監視下でのTV損失が、性能劣化にどの程度寄与するか？
• RQ5 導関数に基づく正則化を適応することで、チューブ状や曲線状の構造（例：血管、道路）といった他の画像構造に対しても、提案損失を一般化できるか？

主な発見

• PASCAL VOC 2012データセットにおいてラベル付きピクセルが0.03%にとどまる状況下で、半教師あり手法は平均IoU 31.92%を達成し、純粋な教師ありベースライン（28.80%）を上回った。
• Sift Flowデータセットでは1画像あたり10ピクセルがラベル付きであったが、提案手法は平均クラス別正解率58.19%を達成したのに対し、教師ありのみのアプローチでは48.53%であった。
• 同じ教師ありベースラインに対してCRFによる後処理を施した場合と比較し、本手法は顕著に優れた性能を示した。これは、ネットワーク内での正則化が、後処理による最適化よりも効果的であることを示している。
• NYUv2では、ラベル付きピクセルが0.03%の状況下で、半教師ありアプローチが平均IoU 34.26%を達成したのに対し、教師ありのみの手法では31.92%であった。
• Sift Flowの上位10クラス（頻度の高いクラス）では、1画像あたり30ピクセルがラベル付きであった場合、半教師あり手法が最大60.38%の正解率を達成した。
• レアクラスではラベルの不足により全体の正解率が低下したが、TV損失は学習の安定化を図り、代表的なクラスにおける一般化性能の向上に効果を発揮した。