[論文レビュー] Efficient Likelihood Learning of a Generic CNN-CRF Model for Semantic Segmentation.

Alexander Kirillov, Dmitrij Schlesinger+5 more|arXiv (Cornell University)|Nov 16, 2015

Advanced Neural Network Applications参考文献 28被引用数 15

ひとこと要約

本稿では、深さ画像におけるセマンティックセグメンテーションの精度を向上させるために、CNN特徴量とCRFポテンシャルを統合する汎用的なCNN-CRFモデルのための効率的で共同最大尤度学習手法を提案する。スケーラブルで非パrametricなCRF学習を可能にし、全パrameter最適化を実現することで、先行手法に比して形状および文脈的依存関係をよりよく捉えることができる。

ABSTRACT

Deep Models, such as Convolutional Neural Networks (CNNs), are omnipresent in computer vision, as well as, structured models, such as Conditional Random Fields (CRFs). Combining them brings many advantages, foremost the ability to in-cooperate prior knowledge into CNNs, e.g. by explicitly modelling the dependencies between output variables. In this work we present a CRF model were unary factors are dependent on a CNN. Our main contribution is an efficient and scalable, maximum likelihood-based, learning procedure to infer all model parameters jointly. Previous work either concentrated on piecewise-training, or maximum likelihood learning of restricted model families, such as Gaussian CRFs or CRFs with a few variables only. In contrast, we are the first to perform maximum likelihood learning for large-sized factor graphs with non-parametric potentials. We have applied our model to the task of semantic labeling of body parts in depth images. We show that it is superior to selected competing models and learning strategies. Furthermore, we empirically observe that our model can capture shape and context information of relating body parts.

研究の動機と目的

• 部分的なトレーニングや制限付きモデルに依存する先行研究の限界を克服すること。
• CNNベースの単一ポテンシャルを備えた大規模で非パrametricなCRF要因グラフに対して、共同最大尤度学習を可能にすること。
• CRFモデリングによる構造的および文脈的事前知識の統合により、セマンティックセグメンテーションの精度を向上させること。
• 深さ画像における身体部位間の形状および空間的関係を効果的に捉える能力を示すこと。

提案手法

• 深層CNNから得られる単一ポテンシャルを用いた汎用的なCNN-CRFモデルを定式化すること。
• 非パrametricなCRFポテンシャルを定義し、ペairワイズ依存関係を柔軟かつデータ駆動的にモデリングすること。
• すべてのモデルパラメータの共同最大尤度学習のための効率的最適化手順を開発すること。
• 大規模な要因グラフへのスケーリングを実現するため、近似推論を用いた確率的勾配降下法を用いること。
• 微分可能なCRF推論を用いて、構造的予測と深層特徴を統合すること。
• CRF推論プロセスを逆伝播可能にすることで、エンドツーエンド学習を可能にすること。

実験結果

リサーチクエスチョン

• RQ1 CNN特徴量を用いた大規模で非パrametricなCRFモデルに対して、共同最大尤度学習を効率的にスケーリングできるか？
• RQ2 セマンティックセグメンテーションにおいて、CRFパラメータの共同学習は、部分的または制限付き学習戦略と比較してどのように優れているか？
• RQ3 本モデルは、深さ画像における身体部位間の空間的および文脈的関係をどの程度効果的に捉えられるか？
• RQ4 提案手法は、ベースラインのCNNおよびCRFモデルと比較して、セグメンテーション精度を向上させるか？

主な発見

• 提案手法は、競合するモデルや学習戦略と比較して、優れたセマンティックセグメンテーション性能を達成している。
• モデルは、深さ画像における関連する身体部位間の形状および文脈的情報を効果的に捉えている。
• 共同最大尤度学習により、部分的または制限付き学習アプローチよりも優れたパラメータ最適化が実現されている。
• 非パrametricなポテンシャルを備えた大規模な要因グラフに対しても、本手法は効率的にスケーリング可能であり、実用的導入が可能である。
• 実験的結果から、構造的CRF事前知識を活用することで、モデルがセグメンテーション精度を向上させていることが確認された。
• 微分可能なCRF推論を用いたエンドツーエンド学習の実現可能性が、複雑な構造的予測タスクにおいて示された。