[論文レビュー] Recurrent Convolutional Neural Networks for Scene Parsing

Pedro H. O. Pinheiro, Ronan Collobert|arXiv (Cornell University)|Jun 12, 2013

Advanced Image and Video Retrieval Techniques参考文献 11被引用数 74

ひとこと要約

この論文では、同じ画像パッチを順次処理する共有重みを持つスタックされたネットワークインスタンスを用いて、反復的に画素レベルの予測を改善することで、長距離の空間的依存関係をモデル化する再帰的畳み込みニューラルネットワーク（rCNN）を提案する。入力として生のRGB画像を順方向に処理し、再帰を用いて誤りを是正することで、分類特徴やCRFベースのアプローチに比べて、タスク固有の特徴を用いずに、スタンフォード背景およびSIFT Flowデータセットで最先端の精度を達成し、推論コストは最小限に抑えられる。

ABSTRACT

Scene parsing is a technique that consist on giving a label to all pixels in an image according to the class they belong to. To ensure a good visual coherence and a high class accuracy, it is essential for a scene parser to capture image long range dependencies. In a feed-forward architecture, this can be simply achieved by considering a sufficiently large input context patch, around each pixel to be labeled. We propose an approach consisting of a recurrent convolutional neural network which allows us to consider a large input context, while limiting the capacity of the model. Contrary to most standard approaches, our method does not rely on any segmentation methods, nor any task-specific features. The system is trained in an end-to-end manner over raw pixels, and models complex spatial dependencies with low inference cost. As the context size increases with the built-in recurrence, the system identifies and corrects its own errors. Our approach yields state-of-the-art performance on both the Stanford Background Dataset and the SIFT Flow Dataset, while remaining very fast at test time.

研究の動機と目的

• 視覚的整合性と精度を向上させることを目的とした、画素単位分類タスクとしてのシーン解析の改善。
• グラフィカルモデル（例：CRF）や画像セグメンテーションに依存しない文脈的推論の排除。
• 設計された特徴量や後処理を一切用いずに、生のピクセル上でエンド・ツー・エンドの学習を可能にする。
• 順方向で再帰的なアーキテクチャを用いることで、高い精度を維持しながら推論時間を短縮する。

提案手法

• 同じ画像パッチを複数の共有重みを持つ畳み込みネットワークインスタンスが順次処理する再帰的アーキテクチャを採用する。
• 各ネットワークインスタンスは、元の画像と直前のインスタンスからの予測セグメンテーションを入力とし、再帰によって誤りを是正する。
• tanh非線形性を用いた畳み込み層のスタックに加え、最大プーリングと1×1畳み込みを用いてクラススコアを出力する。
• 再帰により、モデルは予測を段階的に改善でき、1ステップあたりのモデル容量を増加させることなく、有効な受容 field を拡大できる。
• 学習には確率的勾配降下法を用い、ハイブリッド戦略を採用：2つのインスタンスを同時に学習し、その後第3のインスタンスを追加して過去の予測を是正する。
• 手作業で設計された特徴量やセグメンテーションパイプラインを一切用いずに、生のピクセル上でエンド・ツー・エンドに学習する。

実験結果

リサーチクエスチョン

• RQ1 グラフィカルモデルやセグメンテーションに依存せずに、再帰的CNNアーキテクチャがシーン解析における長距離の空間的依存関係をモデル化できるか。
• RQ2 共有重みを持つCNNにおける再帰は、画素単位分類の精度と視覚的整合性をどのように向上させるか。
• RQ3 このようなシステムは、高速な推論速度を維持しながら最先端の性能を達成できるか。
• RQ4 生のピクセル上でエンド・ツー・エンドに学習する方法は、手作業で設計された特徴量やCRF後処理を用いる手法に比べて、どの程度優れているか。
• RQ5 再帰ステップ数が性能と推論時間に与える影響はどの程度か。

主な発見

• rCNNモデルはスタンフォード背景データセットで80.2%の画素精度を達成し、以前の最先端手法を上回った。
• 33クラスのSIFT Flowデータセットにおいて、セグメンテーションやCRF後処理を一切使用せず、最先端の性能を達成した。
• ラベル付けに使用するピクセル数を1/4に制限した場合（1/4解像度）、79.3%の精度を達成し、フル解像度性能に非常に近い結果を得た。
• 推論時間は顕著に短縮され、1/4解像度では1枚あたり0.70秒という高速な処理が実現した。これは、文脈情報を拡大したにもかかわらず、効率性を示している。
• 再帰的設計により、ネットワークは誤りを自己是正でき、複数回の通過後に明確な改善が視覚的に確認された。
• スーパーピクセルやCRF、手作業で設計された特徴量（例：SIFT、Gist）に依存するシステムに比べ、本手法は優れた性能を示した（表1および表5を参照）。