[論文レビュー] Multi-Path Feedback Recurrent Neural Network for Scene Parsing

Xiaojie Jin, Yunpeng Chen+3 more|arXiv (Cornell University)|Aug 27, 2016

Advanced Neural Network Applications参考文献 28被引用数 13

ひとこと要約

本論文では、上位層から下位層の複数の畳み込み層へ重み付きの再帰的接続を複数設けることで、長距離の文脈モデリングを強化することにより、シーン解析の性能を向上させるMulti-Path Feedback Recurrent Neural Networks (MPF-RNN)を提案する。複数の時間ステップにおける特徴量の統合と累積損失を用いることで、ADE20Kを含む5つのベンチマークで最先端の性能を達成し、ResNet101-Baselineに比べてmIOUで2.78%の絶対的向上を達成した。

ABSTRACT

In this paper, we consider the scene parsing problem and propose a novel Multi-Path Feedback recurrent neural network (MPF-RNN) for parsing scene images. MPF-RNN can enhance the capability of RNNs in modeling long-range context information at multiple levels and better distinguish pixels that are easy to confuse. Different from feedforward CNNs and RNNs with only single feedback, MPF-RNN propagates the contextual features learned at top layer through extit{multiple} weighted recurrent connections to learn bottom features. For better training MPF-RNN, we propose a new strategy that considers accumulative loss at multiple recurrent steps to improve performance of the MPF-RNN on parsing small objects. With these two novel components, MPF-RNN has achieved significant improvement over strong baselines (VGG16 and Res101) on five challenging scene parsing benchmarks, including traditional SiftFlow, Barcelona, CamVid, Stanford Background as well as the recently released large-scale ADE20K.

研究の動機と目的

• 深層畳み込みニューラルネットワーク（CNN）における長距離文脈モデリングの限界に取り組み、特にシーン解析における曖昧なピクセルの区別を改善すること。
• 単一フィードバックRNNやフィードフォワードCNNが、特徴学習中に上位の文脈的情報を下位層に正しく伝達できないという制限を克服すること。
• 複数の再帰的ステップにおける文脈的情報の統合とトレーニング中の累積損失の使用により、小さなオブジェクトの識別を向上させること。
• ADE20Kを含む多様で大規模なシーン解析データセットにおいて、提案手法のスケーラビリティとロバスト性を実証すること。
• 複数の隠れ層のトレーニングプロセスに明示的にグローバルコンテキストを組み込むことで、特徴表現力が向上する新しいアーキテクチャの開発

提案手法

• 上位層の出力から、複数の中間畳み込み層（例：conv4_1、conv4_9など）へ重み付きの再帰的接続を複数構築し、高レベルの文脈的特徴を下位方向に伝搬する。
• 各再帰的ステップからの特徴量を統合することで、最終的なピクセル分類に用いるマルチステップフィードバック機構を採用し、特徴量の識別能を向上させる。
• すべての再帰的ステップにおける損失を蓄積して統合する累積損失戦略を導入し、特に小さなオブジェクトの特徴学習をよりよく監視する。
• バックボーン（例：ResNet101）において、空間解像度を高密度に保ち、フル解像度のセグメンテーションマップを生成するために、膨張畳み込みとデコンボリューション層を適用する。
• データオーグメンテーション（ランダムクロッピングとフリップ）を用いた標準的な最適化手法でモデルを学習し、訓練セットからのバリデーションスプリットを用いてハイパーパramータを微調整する。
• 複数ステップの出力を、要素ごとの連結または重み付き和算により統合し、最終分類の前により豊かな文脈的表現を実現する。

実験結果

リサーチクエスチョン

• RQ1 上位層から複数の中間層への複数の再帰的フィードバックパスは、単一フィードバックRNNと比較して、シーン解析における文脈モデリングを顕著に改善できるか？
• RQ2 複数の再帰的ステップにおける特徴量の統合は、特に小さなオブジェクトや曖昧なオブジェクトのセマンティック的識別に優れた効果をもたらすか？
• RQ3 提案されたMPF-RNNアーキテクチャは、VGG16 や ResNet101 といった強力なベースラインを、多様で挑戦的なシーン解析ベンチマークで上回ることができるか？
• RQ4 累積損失戦略は、複雑なシーンにおける小さなオブジェクトの特徴学習にどのように影響を与えるか？
• RQ5 MPF-RNNは、150カテゴリを含む高解像度の大規模データセットADE20Kにおいて、どの程度スケーラブルで効果的か？

主な発見

• ADE20Kのバリデーションセットにおいて、MPF-RNNはmIOU 34.63%を達成し、ResNet101-Baselineを1.98ポイント、PAを2.78ポイント上回った。
• CamVidデータセットでは、MPF-RNNは92.8%のピクセル精度と82.3%のクラス精度を達成し、最先端手法をそれぞれ1%と4%上回った。
• Barcelonaデータセットでは、MPF-RNNは78.5%のピクセル精度と29.3%のクラス精度を達成し、最先端手法を約4%と5%上回った。
• Stanford Backgroundデータセットでは、MPF-RNNは86.6%のピクセル精度と79%のクラス精度を達成し、前回の最先端手法に比べて3%と5%の絶対的向上を示した。
• SiftFlowデータセットでは、MPF-RNNはmIOU 86.4%と76.3%を達成し、VGG16およびResNet101ベースラインを顕著に上回り、あらゆるデータセットで一貫した向上を示した。
• アブレーションスタディの結果、マルチパスフィードバックとマルチステップ特徴量統合の両方が不可欠であり、特に小さなオブジェクトの解析において累積損失戦略が極めて重要であることが確認された。