[論文レビュー] Dense Recurrent Neural Networks for Scene Labeling

Heng Fan, Haibin Ling|arXiv (Cornell University)|Jan 21, 2018

Advanced Neural Network Applications参考文献 46被引用数 7

ひとこと要約

本稿では、密な無向巡回グラフ（D-UCG）とその密なDAG（D-DAG）への分解を通じて、画像のすべての単位にわたる豊富で密な文脈的依存関係をモデル化することにより、シーンラベル付けのためのDense Recurrent Neural Networks（DD-RNNs）を提案する。長距離依存関係の重要度を優先するアテンション機構を統合し、CNNと組み合わせることで、PASCAL Context、MIT ADE20K、SiftFlowベンチマークで最先端の性能を達成し、従来のRNNベースおよびCNNベースの手法を上回った。

ABSTRACT

Recently recurrent neural networks (RNNs) have demonstrated the ability to improve scene labeling through capturing long-range dependencies among image units. In this paper, we propose dense RNNs for scene labeling by exploring various long-range semantic dependencies among image units. In comparison with existing RNN based approaches, our dense RNNs are able to capture richer contextual dependencies for each image unit via dense connections between each pair of image units, which significantly enhances their discriminative power. Besides, to select relevant and meanwhile restrain irrelevant dependencies for each unit from dense connections, we introduce an attention model into dense RNNs. The attention model enables automatically assigning more importance to helpful dependencies while less weight to unconcerned dependencies. Integrating with convolutional neural networks (CNNs), our method achieves state-of-the-art performances on the PASCAL Context, MIT ADE20K and SiftFlow benchmarks.

研究の動機と目的

• 畳み込みニューラルネットワーク（CNN）が長距離文脈的依存関係を捉えられず、視覚的に類似したピクセル（例：砂地 vs. 道路）を誤分類するという限界を解消すること。
• 従来のRNNベースのシーンラベル付け手法が、UCGのスパースなDAG近似に依存しており、重要な長距離の手がかりを逃がしているという制限を克服すること。
• すべての可能なペアワイズ依存関係を活用することで、D-UCG構造を用いて画像ユニットの識別力を向上させること。
• RNNフレームワーク内にアテンション機構を導入し、関連する文脈的依存関係に重点を置き、無関係な依存関係を抑制すること。
• DD-RNNとCNNを統合したエンドツーエンドのシーンラベル付けシステムを構築し、標準ベンチマークで優れた性能を達成すること。

提案手法

• すべての画像ユニットが互いに接続される密な無向巡回グラフ（D-UCG）を提案し、包括的な依存関係モデリングを可能にする。
• D-UCGを複数の密なDAG（D-DAG）に分解することで、順方向のRNN処理と誤差逆伝搬を可能にする。
• DAG構造に基づくDense RNN（DD-RNN）を設計し、すべての画像ユニットを密接につなげて情報伝播を実現し、標準RNNよりも豊かな文脈的ヒントを捉える。
• DD-RNN内にアテンション機構を導入し、情報量の多い依存関係（例：「砂地」分類における「水」）に高い重みを割り当て、無関係な依存関係（例：「空」）に低い重みを割り当てる。
• 事前学習済みのVGGベースのCNNを特徴抽出に用い、DD-RNNで文脈的推論を実施し、その後にデコンボリューション層を用いてフル解像度のセグメンテーションを実現するハイブリッドアーキテクチャを採用。
• 予測のさらに精緻化を図るため、CRFの後処理を適用し、すべてのベンチマークでIoUと精度を向上させた。

実験結果

リサーチクエスチョン

• RQ1 密なUCGを用いて画像ユニット間のすべてのペアワイズ依存関係をモデル化することで、スパースまたはDAGベースの依存関係モデリングと比較して、シーンラベル付けの性能が向上するか？
• RQ2 RNN内にアテンション機構を導入することで、最も関連する長距離依存関係を選択的に強調し、無関係な依存関係を抑制でき、識別力が向上するか？
• RQ3 DD-RNNとCNNの統合により、標準的なシーンラベル付けベンチマークでSOTA性能を達成できるか？
• RQ4 本手法は、誤ったラベルが生じやすいピクセルクラスに対して、従来のRNNベースおよびCNNベースの手法と比較して、精度、IoU、および頑健性において優れているか？
• RQ5 アテンション機構の導入がモデル性能に与える影響は何か？また、異なるデータセットで一貫して性能向上をもたらすか？

主な発見

• PASCAL Contextベンチマークでは、提案手法のDD-RNNが平均IoU 36.3%を達成し、ベースライン（32.1%）およびSOTA手法（FCN-8s+Prior：32.9%、Cascade-Dilated：34.9%）を上回った。
• MIT ADE20Kでは、CRFを用いない場合の平均IoUは35.7%、CRFを用いた場合は36.3%を達成し、ベースライン（32.1%）を上回り、ParseNet（34.9%）やCascade-SegNet（27.5%）をも凌駕した。
• SiftFlowでは、CRFを適用した場合の平均IoUが46.3%に達し、前回SOTAであったDAG-RNN-CRF（44.8%）およびFCN-8s（41.2%）を大きく上回った。
• アブレーションスタディの結果、アテンション機構がすべてのデータセットで性能向上をもたらすことが確認された。例えば、SiftFlowではCRFを用いない状況で、IoUがアテンションなしの45.2%からアテンションありの45.9%に向上した。
• モデルは効率的で、サイズは190 MB、1枚あたりの推論時間は280 msであり、FCN-8s（497 MB、320 ms）やDilatedNet（513 MB、360 ms）よりも優れた性能を示した。