[論文レビュー] Convolutional Simplex Projection Network (CSPN) for Weakly Supervised Semantic Segmentation

Rania Briq, Michael Moeller+1 more|arXiv (Cornell University)|Jul 24, 2018

Advanced Neural Network Applications参考文献 15被引用数 9

ひとこと要約

本稿では、面積事前知識を用いて特徴マップを確率単体に投影することにより、弱教師付きセマンティックセグメンテーションにおけるオブジェクトサイズ制約を強制する、新しい微分可能レイヤーである畳み込み単体射影ネットワーク（CSPN）を提案する。最先端のモデルに統合されたCSPNは、PASCAL VOC 2012でmIoUを3.5ポイント向上させ、画像ラベルのみを用いて54.5%のmIoUを達成した。

ABSTRACT

Weakly supervised semantic segmentation has been a subject of increased interest due to the scarcity of fully annotated images. We introduce a new approach for solving weakly supervised semantic segmentation with deep Convolutional Neural Networks (CNNs). The method introduces a novel layer which applies simplex projection on the output of a neural network using area constraints of class objects. The proposed method is general and can be seamlessly integrated into any CNN architecture. Moreover, the projection layer allows strongly supervised models to be adapted to weakly supervised models effortlessly by substituting ground truth labels. Our experiments have shown that applying such an operation on the output of a CNN improves the accuracy of semantic segmentation in a weakly supervised setting with image-level labels.

研究の動機と目的

• ピクセルレベルのラベルが利用できない弱教師付きセマンティックセグメンテーションの課題に対処するため、画像ラベルとオブジェクトサイズ事前知識を活用する。
• 反復的最適化手順を回避するため、ネットワーク内に直接サイズ制約を強制する実用的でエンドツーエンドで学習可能なレイヤーを構築する。
• 妥当なオブジェクトサイズ分布を保証する射影レイヤーを統合することで、弱教師付き設定におけるセグメンテーション精度を向上させる。
• 真のラベルを単体射影制約に置き換えることで、強教師付きモデルを弱教師付き設定にスムーズに適応可能にする。

提案手法

• 予測クラス確率が合計1に等しくなるように保証するため、ネットワーク出力を確率単体にマップする微分可能単体射影レイヤーを導入する。
• クラス固有のサリエンシー地図から導出された面積制約を用いて、射影の有効領域を定義し、オブジェクトサイズ事前知識を尊重する。
• 制約強制のため、クラスごとの合計面積を計算するために、しきい値を適用したサリエンシー地図（τ = 1/8）からオブジェクト領域を定義する。
• Duchiら（2008）のアルゴリズムを用いて線形時間で射影を実行し、任意のCNNアーキテクチャへの効率的かつスケーラブルな統合を可能にする。
• SECフレームワークにおける拡張損失を射影損失に置き換えつつ、境界の微調整にためのシード損失とCRFベースの制約損失を維持する。
• 最終的なセグメンテーションマップを生成するために射影後にargmaxを適用するが、アブレーション実験によりソフトマックスでは性能が低下することが示された。

実験結果

リサーチクエスチョン

• RQ1 反復的最適化を伴わず、エンドツーエンドで学習可能なレイヤーを設計し、弱教師付きセマンティックセグメンテーションにおけるオブジェクトサイズ制約を強制できるか？
• RQ2 既存の制約ベース手法と比較して、単体射影は精度と学習効率の面でどのように異なるか？
• RQ3 既存の弱教師付きモデルと組み合わせた場合、射影レイヤーの統合が性能にどの程度向上をもたらすか？
• RQ4 サリエンシーに基づく領域選択に適したしきい値は何か？
• RQ5 提案されたレイヤーは、アーキテクチャの変更なしに既存のCNNアーキテクチャにスムーズに統合可能か？

主な発見

• CSPNレイヤーをSECフレームワークに統合した場合、PASCAL VOC 2012の検証セットにおいてmIoUがSECベースラインの51.0%から54.5%に向上した。
• mIoUの+3.5ポイントの向上は、追加の教師信号なしに単体射影がオブジェクトサイズ事前知識を効果的に強制できることを示している。
• サリエンシー地図の領域選択にしきい値τ = 1/8を用いることで最適な結果が得られ、1/16から1/4の範囲のしきい値でも信頼性のある性能が得られた。
• 制約損失（CRFベース）を省略すると精度が低下するため、単体射影だけでは境界認識の微調整を代替できないことが示された。
• 拡張損失と射影損失の両方を追加すると性能が劣化するため、サイズ制約を過剰に強調することはセグメンテーション品質を損なうことがわかった。
• 射影後にargmaxを用いるのではなくソフトマックスを用いると、mIoUは54.5%から50.2%に低下し、この設定では硬いクラス割り当てがより効果的であることが確認された。