[論文レビュー] Fast, Exact and Multi-Scale Inference for Semantic Image Segmentation with Deep Gaussian CRFs

Siddhartha Chandra, Iasonas Kokkinos|arXiv (Cornell University)|Mar 28, 2016

Advanced Neural Network Applications参考文献 29被引用数 12

ひとこと要約

本稿では、セマンティック画像セグメンテーションのための正確で高速かつエンド・ツー・エンドでトレーニング可能な推論を可能にする、深層ガウスCRFフレームワークを提案する。構造的予測を二次計画問題として定式化することで、線形方程式の解法により正確なMAP推論が達成され、効率的な勾配計算とマルチスケール特徴の統合が可能となり、マルチリゾリューションネットワークを用いてPASCAL VOC 2012で75.5%の平均IoUという最先端の性能を達成した。

ABSTRACT

In this work we propose a structured prediction technique that combines the virtues of Gaussian Conditional Random Fields (G-CRF) with Deep Learning: (a) our structured prediction task has a unique global optimum that is obtained exactly from the solution of a linear system (b) the gradients of our model parameters are analytically computed using closed form expressions, in contrast to the memory-demanding contemporary deep structured prediction approaches that rely on back-propagation-through-time, (c) our pairwise terms do not have to be simple hand-crafted expressions, as in the line of works building on the DenseCRF, but can rather be `discovered' from data through deep architectures, and (d) out system can trained in an end-to-end manner. Building on standard tools from numerical analysis we develop very efficient algorithms for inference and learning, as well as a customized technique adapted to the semantic segmentation task. This efficiency allows us to explore more sophisticated architectures for structured prediction in deep learning: we introduce multi-resolution architectures to couple information across scales in a joint optimization framework, yielding systematic improvements. We demonstrate the utility of our approach on the challenging VOC PASCAL 2012 image segmentation benchmark, showing substantial improvements over strong baselines. We make all of our code and experiments available at {https://github.com/siddharthachandra/gcrf}

研究の動機と目的

• セマンティックセグメンテーションのための、ディープラーニングと正確な推論を統合する構造的予測フレームワークの開発。
• 反復的推論と時間逆伝播に依存する従来のディープ構造的予測手法におけるメモリ制限と近似のボトル neck を克服すること。
• 解析的に計算された勾配を用いて、構造的CRFモジュールを備えたディープネットワークのエンド・ツー・エンドトレーニングを可能にすること。
• スケール間で特徴を統合的に最適化するマルチスケールアーキテクチャを探索し、セグメンテーション精度の向上を図ること。
• 学習されたペairwiseポテンシャルを用いた正確な推論が、ディープ構造的モデルにおける近似推論を上回ることを示すこと。

提案手法

• 事後分布をガウス条件付きランダムフィールド（G-CRF）として定式化することで、一意のグローバル最適解を持つ二次エネルギー関数が得られる。
• 二次エネルギーから導出されるスパースな線形方程式系を解くことで、正確な推論が実現され、高速かつ決定論的な最適化が可能になる。
• モデルパラメータの勾配は閉形式の式を用いて解析的に計算され、時間逆伝播の必要がなくなり、メモリ使用量が削減される。
• ペアワイズポテンシャルはディープニューラルネットワークを介してエンド・ツー・エンドで学習され、従来のDenseCRFで用いられる手作業で設計された項に置き換えられる。
• スケール間の特徴を統合的に最適化するフレームワーク内で、マルチスケールアーキテクチャが導入される。
• フレームワークはCaffeを用いて実装され、GPU推論に最適化されており、1枚あたり0.003〜0.02秒の推論時間を達成している。

実験結果

リサーチクエスチョン

• RQ1 反復的近似に依存せずに、ディープラーニングフレームワーク内で構造的予測における正確な推論を効率的に達成できるか？
• RQ2 時間逆伝播ではなく、解析的に導出された勾配を用いて、構造的CRFモジュールを備えたディープネットワークのエンド・ツー・エンドトレーニングが可能か？
• RQ3 ディープネットワークを用いてデータからペアワイズポテンシャルを学習することで、手作業で設計されたポテンシャルよりもセグメンテーション性能が向上するか？
• RQ4 統合的最適化フレームワーク内でのマルチスケール特徴統合により、セグメンテーション精度に体系的な改善がもたらされるか？
• RQ5 提案手法は、計算効率を維持したまま、CRF-RNNなどの最先端手法を上回ることができるか？

主な発見

• 提案手法は、PASCAL VOC 2012ベンチマークで75.5%の平均交差率（IoU）を達成し、以前の最先端手法であるCRF-RNNシステムを0.8%上回った。
• GPU上では、ポッツ型ペアワイズケースでは0.003秒、一般ケースでは0.02秒の時間で正確な推論が実現された。
• マルチスケールのQO mresアーキテクチャは、航空機の尾部、人の四肢、道路境界などの細かいディテールの捉え込みを顕著に向上させた。
• Deeplab-v2 ResNet-101ネットワークと組み合わせた場合、CRFの微調整後、平均IoUが80.2%に達し、元のモデルのCRF後処理による79.7%を上回った。
• 定性的な結果では、オクルージョンによって単一スコアが曖昧であっても、鋭いオブジェクト境界を生成し、細かいディテールをよりよく保持していることが示された。
• フレームワークは解析的に計算された勾配を用いたエンド・ツー・エンドトレーニングを可能にし、推論ステップのアンローリングに必要なメモリを排除した。