[論文レビュー] Scene Labeling using Gated Recurrent Units with Explicit Long Range Conditioning

Qiangui Huang, Weiyue Wang+3 more|arXiv (Cornell University)|Nov 22, 2016

Medical Image Segmentation Techniques参考文献 40被引用数 4

ひとこと要約

本稿では、画像内の長距離空間的依存関係をモデル化する際の従来のRNNにおける『影響消失』問題を克服するため、明示的な長距離条件付き処理を備えた新しいゲート付き再帰ユニット、GRU-ELCを提案する。スイープ接続を介して遠く離れた文脈的に関連する特徴を明示的に隠れ状態に条件づけることで、多スケールの文脈的モデリングが可能となり、窓、ドア、物体境界などの細かい構造のセグメンテーションが向上した。3つの標準的シーンラベル付けデータセットで最先端の性能を達成した。

ABSTRACT

Recurrent neural network (RNN), as a powerful contextual dependency modeling framework, has been widely applied to scene labeling problems. However, this work shows that directly applying traditional RNN architectures, which unfolds a 2D lattice grid into a sequence, is not sufficient to model structure dependencies in images due to the "impact vanishing" problem. First, we give an empirical analysis about the "impact vanishing" problem. Then, a new RNN unit named Recurrent Neural Network with explicit long range conditioning (RNN-ELC) is designed to alleviate this problem. A novel neural network architecture is built for scene labeling tasks where one of the variants of the new RNN unit, Gated Recurrent Unit with Explicit Long-range Conditioning (GRU-ELC), is used to model multi scale contextual dependencies in images. We validate the use of GRU-ELC units with state-of-the-art performance on three standard scene labeling datasets. Comprehensive experiments demonstrate that the new GRU-ELC unit benefits scene labeling problem a lot as it can encode longer contextual dependencies in images more effectively than traditional RNN units.

研究の動機と目的

• 2次元画像データに標準的なRNNを適用する際、2次元から1次元に展開された長大な系列長により生じる『影響消失』問題の制限を調査すること。
• 従来のRNNがGRUやLSTMを用いても、画像内の長距離空間的依存関係を効果的に捉えることができないという課題に対処すること。
• 遠く離れた文脈的に関連する特徴を明示的に隠れ状態に条件づけることで、長距離の文脈を保持する新しいRNNユニット、RNN-ELCを設計すること。
• CNNとシームレスに統合できるGRU-ELCユニットを用いた新しいシーンラベル付けフレームワークを構築し、エンドツーエンド学習を可能にすること。
• 細分化された構造およびレアカテゴリにおける精度向上を伴い、標準的シーンラベル付けベンチマークで最先端の性能を示すこと。

提案手法

• RNN-ELCを提案する。これは、学習可能な条件付け機構を介して、時間的に遠く離れてはいるが空間的に関連する複数の特徴を明示的に現在の隠れ状態に条件づける一般化されたRNNユニットである。
• GRU-ELCをRNN-ELCの特定のバリアントとして設計し、更新ゲートとリセットゲートに加え、明示的な長距離条件付き処理を組み込むことで、長時間系列における勾配の流れを安定化させる。
• RNNアーキテクチャ内で非隣接な隠れ状態間にスイープ接続を導入し、長距離の文脈的情報を直接伝搬させる。
• VGG-16（conv3_3またはconv4_3）の特徴を入力として使用し、CNNベースのエンコーダデコーダフレームワークにGRU-ELCユニットを統合し、エンドツーエンド学習を可能にする。
• 稀なカテゴリの性能向上を図るため、訓練中に中央値周波数バランシングを採用し、低リソースクラスへの一般化を強化する。
• アップサンプリングと畳み込み層を備えたマルチスケールデコーダを用いて、フル解像度のセグメンテーションマップを再構築する。

実験結果

リサーチクエスチョン

• RQ1 2次元画像グリッドを1次元系列に展開した場合、長距離空間的依存関係をモデル化する際、『影響消失』問題がRNNの性能を著しく低下させるか？
• RQ2 RNNユニットにおける明示的な長距離条件付き処理が、画像データから導出された長時間系列における勾配消失問題を効果的に緩和できるか？
• RQ3 GRU-ELCは、シーンラベル付けのためのマルチスケールの文脈的依存関係をモデル化する際、標準的なGRUやLSTMと比較してどのように優れているか？
• RQ4 提案されたGRU-ELCベースのモデルは、細かい構造およびレアカテゴリのセグメンテーション精度をどの程度向上させるか？
• RQ5 GRU-ELCユニットは、CNNベースのエンドツーエンドのシーンラベル付けフレームワークに効果的に統合可能か？

主な発見

• GRU-ELCは、SiftFlow、NYUDv2、Stanford Backgroundの3つの標準的シーンラベル付けデータセットで最先端の性能を達成した。
• SiftFlowデータセットでは、スカイ（訓練データの24.4％）で96.7％、サン（0.008％）で96.5％の精度を達成し、稀なカテゴリにおいても優れた性能を示した。
• 局所的な細部の保持が顕著に向上し、通常の正例に存在しない窓、ドア、モニター、テレビ画面などの細かい構造を正確にセグメンテーションした。
• 可視化比較により、NYUDv2においてFCN-8sやEigenらの手法と比較して、境界検出が優れており、過剰セグメンテーションが顕著に減少した。
• クラス別分析により、鳥（28.3％）やサイン（75.1％）といった低リソースクラスに対しても一貫した高い精度が得られ、性能が安定していることが確認された。
• 中央値周波数バランシングの使用により、稀なカテゴリの性能がさらに向上し、GRU-ELCと併用することでその有効性が裏付けられた。