[論文レビュー] Deep Deconvolutional Networks for Scene Parsing

Rahul Mohan|arXiv (Cornell University)|Nov 15, 2014

Advanced Image and Video Retrieval Techniques参考文献 21被引用数 56

ひとこと要約

本論文は、エッジプリミティブを超える高次構造を学習することで、シーン解析の性能を向上させる、新しい深層デコンボリューションネットワークアーキテクチャを提案する。この手法は、空間的事前知識を捉えるためにマルチパッチ学習を用い、後処理やスーパープixelesを用いずに、4つのベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

Scene parsing is an important and challenging prob- lem in computer vision. It requires labeling each pixel in an image with the category it belongs to. Tradition- ally, it has been approached with hand-engineered features from color information in images. Recently convolutional neural networks (CNNs), which automatically learn hierar- chies of features, have achieved record performance on the task. These approaches typically include a post-processing technique, such as superpixels, to produce the final label- ing. In this paper, we propose a novel network architecture that combines deep deconvolutional neural networks with CNNs. Our experiments show that deconvolutional neu- ral networks are capable of learning higher order image structure beyond edge primitives in comparison to CNNs. The new network architecture is employed for multi-patch training, introduced as part of this work. Multi-patch train- ing makes it possible to effectively learn spatial priors from scenes. The proposed approach yields state-of-the-art per- formance on four scene parsing datasets, namely Stanford Background, SIFT Flow, CamVid, and KITTI. In addition, our system has the added advantage of having a training system that can be completely automated end-to-end with- out requiring any post-processing.

研究の動機と目的

• 基本的なエッジプリミティブを超える、より豊かな高次構造を学習することで、シーン解析の性能を向上させること。
• 手作業で設計された特徴量や後処理技術（例：スーパープキセル）に依存しないようにすること。
• 生ピクセル入力を直接処理できるエンドツーエンドで学習可能なシステムを開発すること。
• 新しいマルチパッチ学習戦略を通じて、効果的な空間的事前知識を学習すること。

提案手法

• デコンボリューションネットワークと畳み込みニューラルネットワークを組み合わせ、階層的かつ構造的な特徴を学習すること。
• 特徴マップから入力画像を再構築するための、非教師ありでエンドツーエンドのデコンボリューション層の学習手順を採用し、L1正則化を用いる。
• 再構築損失と特徴マップへのL1正則化を組み合わせたコスト関数を用い、スパースかつ過完備な特徴を学習すること。
• 各ピクセルの周囲から複数の画像パッチをサンプリングすることで、空間的コンテキストをモデル化するマルチパッチ学習を導入すること。
• マックスプーリング層からのスイッチを活用して、特徴マップをアップサンプリングするデコンボリューション演算を可能にすること。
• スーパープキセルや手作業特徴量に依存せず、生ピクセル入力からエンドツーエンドでネットワーク全体を学習すること。

実験結果

リサーチクエスチョン

• RQ1 デコンボリューションネットワークは、標準のCNNよりも、シーン解析のためのより強固で洞察に満ちた画像表現を学習できるか？
• RQ2 マルチスケール学習や特別なトレーニングなしの場合と比較して、マルチパッチ学習は空間的事前知識をどれほど効果的に捉えられるか？
• RQ3 デコンボリューションネットワークと畳み込みネットワークを組み合わせることで、シーン解析ベンチマークでの性能が向上するか？
• RQ4 提案されたアーキテクチャは、深層ネットワークにおけるランダム初期化への感受性をどの程度低減するか？
• RQ5 生ピクセル入力から学習するエンドツーエンドシステムは、後処理やスーパープキセルを必要とする手法を上回る性能を発揮できるか？

主な発見

• 提案されたアーキテクチャは、Stanford Background、SIFT Flow、CamVid、KITTIの4つのシーン解析データセットで、最先端の性能を達成した。
• 3つの最初のデータセットにおいて、マルチパッチ学習はマルチスケール学習に比べ平均0.67%、特別なトレーニングなしに比べ1.02%のピクセル単位の正確性向上を達成した。
• KITTIデータセットでは、マルチパッチ学習がマルチスケール学習に比べ1.62%、特別なトレーニングなしに比べ3.28%のMax F-Score向上を達成した。
• デコンボリューションネットワークは、深層CNNよりも著しく安定しており、500回のランダム初期化実験においても、より低い分散を示した。
• 異なる深さや初期化シードにおいても一貫した性能を発揮したため、局所最適解への感受性が低いことが示された。
• エッジの接合部、平行線、幾何的形状といった複雑な空間的構造を、CNNよりも優れた性能で学習できた。