[論文レビュー] Learning High-level Prior with Convolutional Neural Networks for Semantic Segmentation

Haitian Zheng, Yebin Liu+3 more|arXiv (Cornell University)|Nov 22, 2015

Advanced Neural Network Applications参考文献 28被引用数 8

ひとこと要約

本論文は、画像とセグメンテーションエンコーダー、ハイブリッドデコーダーを用いて訓練された条件付き変分オートエンコーダー（CVAE）を提案し、高レベルのグローバル事前分布を統合することで、セマンティックセグメンテーションのグローバルな一貫性を向上させ、複数のデータセットで最先端の性能を達成した。この手法は、FCNおよびFCN+CRFベースラインを上回った。

ABSTRACT

This paper proposes a convolutional neural network that can fuse high-level prior for semantic image segmentation. Motivated by humans' vision recognition system, our key design is a three-layer generative structure consisting of high-level coding, middle-level segmentation and low-level image to introduce global prior for semantic segmentation. Based on this structure, we proposed a generative model called conditional variational auto-encoder (CVAE) that can build up the links behind these three layers. These important links include an image encoder that extracts high level info from image, a segmentation encoder that extracts high level info from segmentation, and a hybrid decoder that outputs semantic segmentation from the high level prior and input image. We theoretically derive the semantic segmentation as an optimization problem parameterized by these links. Finally, the optimization problem enables us to take advantage of state-of-the-art fully convolutional network structure for the implementation of the above encoders and decoder. Experimental results on several representative datasets demonstrate our supreme performance for semantic segmentation.

研究の動機と目的

• 完全畳み込みネットワーク（FCN）が局所的な受容 field に起因してグローバルに一貫性のあるセマンティックセグメンテーションを生成できないという限界を解決すること。
• 人間の視覚認識を模倣し、オブジェクトの形状やシーンの文脈といった高レベルのセマンティック事前分布を、深層学習ベースのセグメンテーションに組み込むこと。
• 追加の教師信号を必要とせず、ピクセル単位のセグメンテーションアノテーションからグローバル特徴を学習する生成モデルを開発すること。
• グローバル構造と局所的詳細を同時に最適化することで、セグメンテーション精度を向上させるエンドツーエンドの深層ネットワークの訓練を可能にすること。

提案手法

• 高レベルコーディング（z）、ミドルレベルセグメンテーション（s）、観測画像（x）の3層構造を持つ、潜在変数を有する三層構造の条件付き変分オートエンコーダー（CVAE）を提案し、同時分布 p(x, s, z) をモデル化する。
• z を最初にサンプリングし、次に z 条件付きで s を生成し、最後に s 条件付きで x を生成する構造的 CVAE を設計し、人間の視覚認識を模倣する。
• 入力画像から高レベル特徴を抽出する画像エンコーダー、正解セグメンテーションから高レベル特徴を抽出するセグメンテーションエンコーダー、画像特徴と事前分布特徴の両方を用いてセグメンテーションを再構築するハイブリッドデコーダーを採用する。
• 変分下界（ELBO）を訓練目的として導出し、オートエンコーディングフレームワークを通じたバックプロパゲーションによるエンドツーエンド最適化を可能にする。
• 効率的かつ高精度な特徴学習を可能にするために、最先端の完全畳み込みネットワーク（FCN）アーキテクチャをエンコーダーおよびデコーダーに採用する。
• 過学習を防ぐために、画像エンコーダーに対してデータオーグメンテーション（反転、微小シフト）とモデル容量の低減を適用し、グローバル事前分布の一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ピクセル単位のセグメンテーションアノテーションから追加の教師信号を必要とせず、高レベルのセマンティック事前分布を効果的に学習できるか？
• RQ2 高レベルのグローバルコンテキストは、純粋に局所的でパッチベースの手法と比較して、セマンティックセグメンテーションの一貫性と正確性をどの程度向上させられるか？
• RQ3 CVAEベースのアーキテクチャは、標準のFCNおよびFCN+CRFパイプラインをどの程度上回るか？
• RQ4 画像エンコーダーが学習するグローバル事前分布は、セグメンテーションエンコーダーのそれよりも、最終的なセグメンテーション出力の形状をより効果的に規定するか？

主な発見

• PASCAL VOC 2012 データセットでは、提案されたHRネットワークがmIoU 80.2%を達成し、ベースラインのFCNおよびFCN+CRF手法を上回った。
• Penn-Fudan Pedestrian データセットでは、HRネットワークが平均ピクセル精度91.61%を達成し、密度のあるCRF後処理を適用すると92.37%にまで向上し、MMBM+GraphCutベースラインを上回った。
• 画像エンコーダーのグローバル事前分布が最終的なセグメンテーション形状を支配しており、画像エンコーダーがセグメンテーションエンコーダーよりもより強固で一般化可能な高レベル特徴を学習していることが示された。
• 局所的特徴が存在しない状態でも、高レベルコーディングのみで一般的なオブジェクト形状を再構築できることから、グローバル事前分布の有効性が裏付けられた。
• 画像エンコーダーに容量低減とデータオーグメンテーションを適用することで、過学習に対してロバストであることが確認され、一般化性能が向上した。
• 提案されたCVAEとCRFベースの後処理を組み合わせることでさらなる性能向上が得られ、グローバルモデルとローカルモデルの相補性が確認された。