[論文レビュー] Convolutional Random Walk Networks for Semantic Image Segmentation

Gedas Bertasius, Lorenzo Torresani+2 more|arXiv (Cornell University)|May 24, 2016

Advanced Neural Network Applications参考文献 22被引用数 14

ひとこと要約

本稿では、畳み込み型ランダムウォークネットワーク（RWNs）を提案する。これは、完全畳み込みネットワーク（FCNs）に新しいランダムウォーク層を統合することで、セマンティック画像セグメンテーションを向上させる、軽量でエンドツーエンドで学習可能なアーキテクチャである。この手法は行列積を用いて画素の類似度とセグメンテーションを同時に最適化し、わずか131パラメータの追加で境界の局所化精度と空間的一致性を向上させ、FCNsや密度的CRFの後処理を上回る精度と効率性を達成する。

ABSTRACT

Most current semantic segmentation methods rely on fully convolutional networks (FCNs). However, their use of large receptive fields and many pooling layers cause low spatial resolution inside the deep layers. This leads to predictions with poor localization around the boundaries. Prior work has attempted to address this issue by post-processing predictions with CRFs or MRFs. But such models often fail to capture semantic relationships between objects, which causes spatially disjoint predictions. To overcome these problems, recent methods integrated CRFs or MRFs into an FCN framework. The downside of these new models is that they have much higher complexity than traditional FCNs, which renders training and testing more challenging. In this work we introduce a simple, yet effective Convolutional Random Walk Network (RWN) that addresses the issues of poor boundary localization and spatially fragmented predictions with very little increase in model complexity. Our proposed RWN jointly optimizes the objectives of pixelwise affinity and semantic segmentation. It combines these two objectives via a novel random walk layer that enforces consistent spatial grouping in the deep layers of the network. Our RWN is implemented using standard convolution and matrix multiplication. This allows an easy integration into existing FCN frameworks and it enables end-to-end training of the whole network via standard back-propagation. Our implementation of RWN requires just $131$ additional parameters compared to the traditional FCNs, and yet it consistently produces an improvement over the FCNs on semantic segmentation and scene labeling.

研究の動機と目的

• 完全畳み込みネットワーク（FCNs）における受容 field の拡大とプーリング層の影響による境界局所化の悪化を是正すること。
• 後処理としてのCRFが物体間の意味的関係を捉えられず、空間的に断片的な予測を生じることを克服すること。
• モデルの複雑さを著しく増加させず、複雑な学習手順を必要とせずに、セグメンテーションの精度を向上させること。
• 既存のFCNフレームワークに微分可能なランダムウォーク層を統合することで、標準的なバックプロパゲーションを用いたエンドツーエンド学習を可能にすること。

提案手法

• RWNは二重ブランチアーキテクチャを採用する：一方のブランチはセマンティックセグメンテーションを、もう一方は画素レベルの類似度を予測する。
• 新規の微分可能なランダムウォーク層が、行列積を用いて深層部での空間的一致性を強制することで、二つのブランチを統合する。
• ランダムウォーク層は、学習された類似度に基づいて画素間で分類信頼度を伝搬させ、繰り返し予測を精緻化する。
• ネットワーク全体は標準的なバックプロパゲーションによりエンドツーエンドで学習され、ランダムウォーク層は標準的な畳み込みおよび行列演算で実装される。
• この手法はわずか131個の追加可学習パラメータしか必要とせず、標準的なFCNsとほぼ同等の軽量さを実現する。
• 調整可能な半径サイズにより、柔軟なグラフ構造をサポートし、異なる空間的関係に適応可能である。

実験結果

リサーチクエスチョン

• RQ1 微分可能なランダムウォーク層をFCNに効果的に統合し、モデルの複雑さを増さずに境界局所化を改善できるか？
• RQ2 画素の類似度とセグメンテーション損失を同時に最適化することで、空間的一致性とセグメンテーション精度にどのような影響を与えるか？
• RQ3 提案されたRWNは、FCNベースラインや密度的CRFの後処理を上回る性能を発揮するか、かつ効率的かつエンドツーエンドで学習可能か？
• RQ4 収束に至るまでの最適なランダムウォークステップ数は何か？
• RQ5 類似度グラフにおける半径サイズが、セグメンテーション精度とモデルの柔軟性に与える影響は何か？

主な発見

• Stanford Backgroundデータセットでは、DeepLab-largeFOVベースラインと比較して、RWNがmIOUを2.57%向上させ、Sift-Flowデータセットでは2.54%向上させた。
• 1回のランダムウォークステップとR=40を用いた場合、Pascal SBDデータセットで82.2%のIOUを達成し、密度的CRF後処理を施したDeepLab_v2（81.9% IOU）を上回り、100倍以上も高速であった。
• ランダムウォークステップ数を増やすにつれてセグメンテーション精度が着実に向上し、収束時にピークに達することから、反復的精緻化の有効性が確認された。
• R=5で収束まで実行した場合（77.9% IOU）は、R=40で1ステップのみ実行した場合（75.5% IOU）よりもわずかに高い精度を示したが、両者とも半径の選択に対して頑健であることが明らかになった。
• モデルは79 MBというコンactなサイズを維持し、標準的なFCNsと同等であり、後処理や複雑な学習スキームを一切必要としない。
• アブレーションスタディにより、ランダムウォーク層が予測を効果的に精緻化し、より鋭く局所化された物体境界を実現していることが確認された。