[論文レビュー] Fully Connected Deep Structured Networks

Alexander G. Schwing, Raquel Urtasun|arXiv (Cornell University)|Mar 9, 2015

Advanced Graph Neural Networks参考文献 27被引用数 260

ひとこと要約

この論文は、畳み込みニューラルネットワーク（CNN）特徴量と条件付きランダムフィールド（CRF）パラメータを、セマンティック画像セグメンテーションのためのエンド・ツー・エンド最適化を可能にする、全結合ディープ構造的ネットワークの共同学習フレームワークを提案する。深層特徴量と全結合CRFを組み合わせ、両方のコンポonentを経由するエンド・ツー・エンドのバックプロパゲーションを可能にすることで、PASCAL VOC 2012データセットで最先端の性能を達成し、バリデーションセットで64.06%の平均IoUを達成した。

ABSTRACT

Convolutional neural networks with many layers have recently been shown to achieve excellent results on many high-level tasks such as image classification, object detection and more recently also semantic segmentation. Particularly for semantic segmentation, a two-stage procedure is often employed. Hereby, convolutional networks are trained to provide good local pixel-wise features for the second step being traditionally a more global graphical model. In this work we unify this two-stage process into a single joint training algorithm. We demonstrate our method on the semantic image segmentation task and show encouraging results on the challenging PASCAL VOC 2012 dataset.

研究の動機と目的

• 局所的特徴を学習するためのCNNのトレーニングと、グローバルなコンテキストを学習するためのCRFの二段階的プロセスを、単一の共同最適化フレームワークに統合すること。
• 一時的トレーニングの制限を克服し、単一の潜在的特徴量とペairワイズCRFパラメータを別々に最適化することで、最適でない特徴量とコンテキストの統合が生じる問題を解消すること。
• 変分平均場近似を用いてCRF推論プロセスを微分可能にすることで、バックプロパゲーションをCRF分布全体にまで伝えることにより、深層特徴量とCRFパラメータのエンド・ツー・エンド学習を可能にすること。
• 局所的およびグローバルな依存関係の共同最適化を活用することで、PASCAL VOC 2012のような複雑で現実世界のデータセットにおけるセマンティックセグメンテーションの精度を向上させること。

提案手法

• 16層のDeepNet（単一潜在的特徴量用）と全結合CRF（ペアワイズ潜在的特徴量用）の両方のパラメータを、単一のエンド・ツー・エンド学習プロセスで最適化する共同学習アルゴリズムを提案する。
• バックプロパゲーション中にCRF推論を実行可能にするために、変分平均場近似を用いる。これにより、CRF分布を経由する勾配計算が可能になる。
• 通常、全結合CRFでは実行不可能とされる正規化項の微分可能な近似を導入し、正規化項を経由するバックプロパゲーションを可能にする。
• すべての可能なラベル構成のソフトマックス正規化を用いて確率分布を計算し、勾配ベースの最適化を可能にする。
• ミニバッチを用いた確率的勾配降下法を用いてモデルを学習し、CNNおよびCRFコンポーネントの両方を経由するバックプロパゲーションを実行する。
• ガウスカーネルを用いたCRFペアワイズ潜在的特徴量のパrameterizationを導入し、CNN特徴量と同時に学習可能な形状および適合性パラメータを学習する。

実験結果

リサーチクエスチョン

• RQ1 エンド・ツー・エンドの共同学習により、二段階学習と比較して、深層CNNと全結合CRFのセマンティックセグメンテーション性能が向上するか？
• RQ2 単一潜在的特徴量のCNNとペアワイズ潜在的特徴量のCRFパラメータを共同最適化することで、オブジェクト境界の保持やクラスの曖昧性の処理能力にどのような影響を与えるか？
• RQ3 微分可能なCRF推論が、共同学習プロセスの収束性と安定性に与える影響は何か？
• RQ4 ノイズや曖昧な入力があるような困難な現実世界のセグメンテーションシナリオに、提案手法は一般化可能か？
• RQ5 別々にCNNとCRFをトレーニングする従来の最先端手法と比較して、共同学習フレームワークは定量的にどのように優れているか？

主な発見

• 共同学習アプローチは、PASCAL VOC 2012バリデーションセットで64.06%の平均交差率（mIoU）を達成し、Chenら[3]が報告した別々のトレーニングベースラインの63.74%を上回った。
• CNN特徴量の微調整が完了すると、共同学習フェーズで約20イテレーションで性能がピークに達するため、迅速な収束が確認された。
• ベースライン比で1.5%の性能向上を達成し、16層のDeepNetの微調整を4000イテレーション行った後、61.476%のmIoUに到達した。
• 明確に識別可能なオブジェクトのセグメンテーションは成功しているが、ノイズが多い画像や「自転車」や「いす」のような変動が大きいクラスでは、バリデーション精度がトレーニング精度の約半分にまで低下している。
• 学習されたCRFパラメータは、予測を過剰に平滑化し、オブジェクト境界付近にノイズを導入する傾向があり、滑らかさと境界の忠実度の間のトレードオフが顕在化している。
• 変分平均場近似を用いた微分可能なCRF推論により、深層ネットワークと全結合CRFのエンド・ツー・エンド学習が実現可能になった。