[論文レビュー] Combining the Best of Convolutional Layers and Recurrent Layers: A Hybrid Network for Semantic Segmentation

Zhicheng Yan, Hao Zhang+3 more|arXiv (Cornell University)|Mar 15, 2016

Advanced Neural Network Applications参考文献 42被引用数 43

ひとこと要約

本論文は、完全畳み込みネットワーク（FCN）と空間的再帰層（ReNet）を組み合わせたハイブリッド深層ReNet（H-ReNet）ネットワークを提案する。このネットワークは、意味的セグメンテーションにおける長距離の文脈的依存関係を明示的にモデル化することを目的としている。特徴マップを走査する再帰ユニットを統合することで、H-ReNetは全画像の受容 field を達成し、エンド・ツー・エンドの学習が可能となり、性能が向上する。PASCAL VOC 2012 において、Piecewise や CRFasRNN、DeepParsing よりもそれぞれ 3.6%、2.3%、0.2% の性能向上を達成した。

ABSTRACT

State-of-the-art results of semantic segmentation are established by Fully Convolutional neural Networks (FCNs). FCNs rely on cascaded convolutional and pooling layers to gradually enlarge the receptive fields of neurons, resulting in an indirect way of modeling the distant contextual dependence. In this work, we advocate the use of spatially recurrent layers (i.e. ReNet layers) which directly capture global contexts and lead to improved feature representations. We demonstrate the effectiveness of ReNet layers by building a Naive deep ReNet (N-ReNet), which achieves competitive performance on Stanford Background dataset. Furthermore, we integrate ReNet layers with FCNs, and develop a novel Hybrid deep ReNet (H-ReNet). It enjoys a few remarkable properties, including full-image receptive fields, end-to-end training, and efficient network execution. On the PASCAL VOC 2012 benchmark, the H-ReNet improves the results of state-of-the-art approaches Piecewise, CRFasRNN and DeepParsing by 3.6%, 2.3% and 0.2%, respectively, and achieves the highest IoUs for 13 out of the 20 object classes.

研究の動機と目的

• 局所的受容 field の制限により、完全畳み込みネットワーク（FCN）が長距離の文脈的依存関係をモデル化する能力に制限を受けるという問題に対処する。
• 再帰層が意味的セグメンテーションにおけるグローバルな空間的文脈を明示的に捉えることができるかを検証し、特徴表現を向上させる。
• 畳み込み層と再帰層の長所を統合したハイブリッドアーキテクチャを構築し、より優れた性能と効率性を実現する。
• グラフィカルモデルの非効率性を回避するため、効率的な GPU 並列計算が可能なエンド・ツー・エンドの学習を可能にする。
• アブレーションと外部比較を通じて、PASCAL VOC 2012 ベンチマークで最先端の性能を実証する。

提案手法

• 特徴マップに沿って縦方向および横方向に RNN を適用する空間的再帰層（ReNet 层）を導入し、長距離の空間的文脈を伝搬する。
• スタンフォード背景データセット上で、単独で有効性を評価するため、ナイーブな深層ReNet（N-ReNet）をスタックして構築する。
• 事前学習済みの FCN バックボーンの上に ReNet 層を追加することで、ハイブリッドネットワーク（H-ReNet）を設計し、局所的特徴抽出とグローバル文脈モデリングを統合する。
• 時間方向の誤差逆伝播を用いて H-ReNet のエンド・ツー・エンド学習を可能にし、畳み込み部と再帰部を同時に最適化する。
• ReNet 層での並列計算を活用し、従来の CRF と異なり逐次的であるという欠点を回避しながら、現代の GPU でも効率的な計算を維持する。
• H-ReNet のさらに精度を向上させるために DenseCRF 後処理を適用し、再帰的モデリングと条件付きランダムフィールドの相乗効果を示す。

実験結果

リサーチクエスチョン

• RQ1 空間的再帰層は、FCN が暗黙的に行う文脈モデリングを超えて、意味的セグメンテーションにおける長距離の文脈的依存関係を効果的にモデル化できるか？
• RQ2 FCN と ReNet 層を統合することで、特徴表現の質とセグメンテーション精度にどのような影響を与えるか？
• RQ3 ハイブリッド H-ReNet アーキテクチャは、PASCAL VOC 2012 のような標準ベンチマークで最先端の性能を達成できるか？
• RQ4 ReNet 層は、曖昧な画像領域における境界の局所化と領域認識をどの程度向上させるか？
• RQ5 再帰メカニズムは、性能を損なわず、エンド・ツー・エンドかつ GPU 並列計算が可能な形で効率的に学習・実行できるか？

主な発見

• H-ReNet は、DenseCRF 後処理を施した場合、PASCAL VOC 2012 テストセットで 74.3% の平均交差率（mIoU）を達成し、以前の最先端手法である DeepParsing を 0.2% 超過した。
• PASCAL VOC 2012 検証セットでは、H-ReNet は Piecewise より 3.6%、CRFasRNN より 2.3%、DeepParsing より 0.2% の mIoU の向上を達成した。
• H-ReNet は PASCAL VOC 2012 ベンチマークで 20 個のオブジェクトクラスのうち 13 個で最高の IoU を記録し、優れたクラス別パフォーマンスを示した。
• 定性的な比較では、H-ReNet がグローバルな文脈を活用することで、完全な機体や鳥の体幹を正しく検出でき、曖昧な領域をよりよく解消していることがわかった。
• 追加の MS COCO データで学習した場合、H-ReNet に DenseCRF 後処理を施したモデルは、VOC 2012 テストセットで 76.8% の mIoU を達成し、同じ条件下で CRFasRNN（74.7%）と DeepParsing（77.5%）を上回った。
• アブレーションスタディにより、ReNet 層が特徴表現を顕著に向上させていることが確認され、可視化結果から深層 CNN に類似した階層的特徴学習が行われていることが示された。