[論文レビュー] Semantic Image Segmentation via Deep Parsing Network

Ziwei Liu, Xiaoxiao Li+3 more|arXiv (Cornell University)|Sep 9, 2015

Advanced Neural Network Applications参考文献 45被引用数 180

ひとこと要約

この論文では、意味画像セグメンテーションのためのマルコフ確率場（MRF）における単項項と対項項を統合する、新しいエンドツーエンド畳み込みニューラルネットワークであるDeep Parsing Network（DPN）を提案する。学習された畳み込み層を用いて1回の順伝播で平均場推論を近似することで、バックプロパゲーション中に反復的MRF推論を必要とせず、PASCAL VOC 2012で77.5%のmIoUという最先端の性能を達成した。

ABSTRACT

This paper addresses semantic image segmentation by incorporating rich information into Markov Random Field (MRF), including high-order relations and mixture of label contexts. Unlike previous works that optimized MRFs using iterative algorithm, we solve MRF by proposing a Convolutional Neural Network (CNN), namely Deep Parsing Network (DPN), which enables deterministic end-to-end computation in a single forward pass. Specifically, DPN extends a contemporary CNN architecture to model unary terms and additional layers are carefully devised to approximate the mean field algorithm (MF) for pairwise terms. It has several appealing properties. First, different from the recent works that combined CNN and MRF, where many iterations of MF were required for each training image during back-propagation, DPN is able to achieve high performance by approximating one iteration of MF. Second, DPN represents various types of pairwise terms, making many existing works as its special cases. Third, DPN makes MF easier to be parallelized and speeded up in Graphical Processing Unit (GPU). DPN is thoroughly evaluated on the PASCAL VOC 2012 dataset, where a single DPN model yields a new state-of-the-art segmentation accuracy.

研究の動機と目的

• ディープラーニングベースの意味画像セグメンテーションにおける反復的MRF推論の非効率性を解消すること。
• 微分可能でエンドツーエンドのフレームワークを用いて、高次関係およびラベルの文脈混合をMRFの対項ポテンシャルに統合すること。
• バックプロパゲーション中に反復的または再帰的なMRF推論を排除するために、1回のパスで平均場を近似すること。
• MRFを畳み込み演算としてモデル化することで、効率的で並列化可能かつGPU加速が可能な推論を可能にすること。
• 計算効率を維持したままPASCAL VOC 2012で最先端の性能を達成すること。

提案手法

• 事前学習済みImageNet重みを用いた特徴を活用し、VGG-16アーキテクチャを拡張して単項項をモデル化する。
• 追加の畳み込み層およびプーリング層を導入し、MRFの対項項における平均場推論を近似する。
• 学習可能な受容 field を用いて、高次関係やラベルの文脈混合を含む複雑な対項ポテンシャルをモデル化する。
• MRF推論を決定的で微分可能かつ1回のパスによる計算に定式化し、バックプロパゲーション中に反復最適化を回避する。
• 低ランク近似とGPUに適した演算を用いて推論を高速化し、並列化を可能にする。
• 単項項および対項項の両方を同時に最適化できる、バックプロパゲーションによるエンドツーエンドの共同学習を実施する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングフレームワーク内において、MRFの平均場推論を1回の順伝播で効果的に近似できるか？
• RQ2 対項ポテンシャルに高次関係およびラベルの文脈混合を組み込むと、セグメンテーション精度にどのような影響を与えるか？
• RQ3 反復的MRF推論を置き換える統合的で微分可能なネットワークアーキテクチャが、性能を維持または向上させられるか？
• RQ4 単項項と対項項の共同学習が、セグメンテーション精度および計算効率に与える影響は何か？
• RQ5 サイズ、形状、境界の複雑さが異なるオブジェクトカテゴリに、DPNはどのように一般化するか？

主な発見

• DPNは1つのモデルを用いてPASCAL VOC 2012のテストセットで77.5%というmIoUの新記録を達成した。
• 平均場推論に10回の反復を要する従来手法と比較して、実行時間を10倍以上短縮した。
• 共同学習により、境界が複雑なオブジェクトや文脈依存性の高いオブジェクトにおいて、性能が顕著に向上した。
• ピクセル単位の監視を通じて画像レベルのタグを暗黙的にモデル化することで、96.4%の高いタグ精度を達成した。
• クラスごとの分析から、小さなオブジェクト（例：鳥、猫、牛）は、全体の滑らかさと境界精度を向上させるために、共同チューニングの過程でしばしば無視される傾向にあることがわかった。
• 特に不規則な形状（例：自転車）のオブジェクトに関しては、後期の訓練段階でオブジェクトの局所化と境界認識が顕著に向上した。