[論文レビュー] DAG-Recurrent Neural Networks For Scene Labeling

Bing Shuai, Zhen Zuo+2 more|arXiv (Cornell University)|Sep 2, 2015

Medical Image Segmentation Techniques参考文献 44被引用数 16

ひとこと要約

本稿では、画像単位を有向無閉路グラフ（DAG）として構造化することで、長距離の文脈的依存関係をモデル化するDAG再帰ニューラルネットワーク（DAG-RNN）を提案する。これにより、RNNが遠く離れた画像領域間の意味的関係を効果的に捉えることが可能になる。この手法は局所的特徴の識別能を向上させ、畳み込み層およびデコンボリューション層と統合され、SiftFlow、CamVid、Barcelonaベンチマークでエンドツーエンド学習が可能となり、最先端の性能を達成した。特に、新しいクラス重み関数により、レアクラスで8.6%の精度向上を達成した。

ABSTRACT

In image labeling, local representations for image units are usually generated from their surrounding image patches, thus long-range contextual information is not effectively encoded. In this paper, we introduce recurrent neural networks (RNNs) to address this issue. Specifically, directed acyclic graph RNNs (DAG-RNNs) are proposed to process DAG-structured images, which enables the network to model long-range semantic dependencies among image units. Our DAG-RNNs are capable of tremendously enhancing the discriminative power of local representations, which significantly benefits the local classification. Meanwhile, we propose a novel class weighting function that attends to rare classes, which phenomenally boosts the recognition accuracy for non-frequent classes. Integrating with convolution and deconvolution layers, our DAG-RNNs achieve new state-of-the-art results on the challenging SiftFlow, CamVid and Barcelona benchmarks.

研究の動機と目的

• シーンラベリングにおけるローカルな画像表現の限界、特に長距離の文脈的依存関係を捉えられないことに対処すること。
• 一般的に画像単位をモデル化するために用いられるループを含む非巡回的循環グラフ（UCG）と標準的なRNNとの不適合性を克服すること。
• 構造化された再帰的モデリングにより、グローバルなシーンの文脈を符号化することで、局所的特徴の識別能を向上させること。
• 自然なシーン画像におけるクラス頻度の不均衡によって生じるレアな意味的クラスの性能低下を緩和すること。
• 畳み込み、DAG-RNN、デコンボリューションを統合したエンドツーエンド学習可能なフルラベリングネットワークの開発

提案手法

• 本稿では、画像単位を非巡回的循環グラフ（UCG）としてモデル化し、これを複数の有向無閉路グラフ（DAG）に分解することで、RNNの適用を可能にする。
• DAG-RNNは、標準的なRNNの一般化として、トポロジカル順序に従ってノードを逐次処理できるDAG構造データを処理するものである。
• 各DAGは独立にDAG-RNNによって処理され、長距離依存関係を符号化する文脈に依存した隠れ表現が生成される。
• 複数のDAGからの文脈に依存した特徴が統合され、畳み込み層およびデコンボリューション層と組み合わされ、エンドツーエンド学習可能なフルラベリングネットワークが構築される。
• トレーニング中にレアクラスに動的に注目できる新しいクラス重み関数が提案され、それらの認識精度が向上する。
• バックプロパゲーションを用いてエンドツーエンドでネットワークが学習され、DAG-RNNは再帰的メッセージパッシングにより文脈特徴を精錬する。

実験結果

リサーチクエスチョン

• RQ1 DAG-RNNは、シーンラベリングにおける画像単位間の長距離の意味的依存関係を効果的にモデル化できるか？
• RQ2 DAG-RNNによる文脈的依存関係のモデル化は、局所的画像表現の識別能をどのように向上させるか？
• RQ3 DAG-RNNは、視覚的に類似したクラス（例：「砂地」と「道路」）において、局所的な曖昧さをどれほど軽減できるか？
• RQ4 新しいクラス重み関数は、不均衡なデータセットにおけるレアな意味的クラスの認識精度を顕著に向上させられるか？
• RQ5 DAG-RNNを畳み込み層およびデコンボリューション層と統合することで、標準的なシーンラベリングベンチマークで最先端の性能が達成できるか？

主な発見

• 提案されたDAG-RNN(8)モデルは、SiftFlowデータセットの設定1において、局所的特徴の識別能が低い状況下で、ベースラインのCNN-65に対して平均11.2%の精度向上を達成した。
• 事前学習済みのVGG-conv5特徴を用いる設定2では、DAG-RNN(8)は依然として稀なクラスで8.6%の顕著な精度向上を達成し、強力な局所的特徴がある状況でも有効性が示された。
• SiftFlowベンチマークでは、フルネットワーク（VGG-conv5-DAG-RNN(8)）がグローバル精度96.3%、クラス精度55.7%を達成し、先行する最先端手法を上回った。
• 定性的な結果から、DAG-RNNは局所的整合性（隣接ピクセルが類似したラベルを取得）と意味的整合性（空間的に離れたピクセルが意味的に妥当なラベルを取得）の両方を強制することが分かった。
• クラス重み関数は、標準的なクロスエントロピー損失と比較して、SiftFlowにおける平均クラス精度を5.14%向上させ、レアクラスの認識を顕著に向上させた。
• 本手法は、SiftFlow、CamVid、Barcelonaの3つの挑戦的なベンチマークで最先端の性能を達成し、すべての指標で一貫した改善が見られた。