[論文レビュー] Higher Order Potentials in End-to-End Trainable Conditional Random Fields

Anurag Arnab, Sadeep Jayasumana+2 more|arXiv (Cornell University)|Nov 25, 2015

Advanced Neural Network Applications参考文献 34被引用数 15

ひとこと要約

本稿では、物体検出とスーパーセルに基づく微分可能高次ポテンシャルを備えたエンドツーエンド学習可能な条件付きランダムフィールド（CRF）を提案し、畳み込みニューラルネットワーク（CNN）と共同で学習可能にすることで、セマンティックセグメンテーションの性能を向上させる。これらのポテンシャルを平均場推論フレームワークに統合することで、標準的なCRFやベースラインネットワークと比較して顕著な性能向上を達成した。

ABSTRACT

We tackle the problem of semantic segmentation using deep learning techniques. Most semantic segmentation systems include a Conditional Random Field (CRF) model to produce a structured output that is consistent with visual features of the image. With recent advances in deep learning, it is becoming increasingly common to perform CRF inference within a deep neural network to facilitate joint learning of the CRF with a pixel-wise Convolutional Neural Network (CNN) classifier. While basic CRFs use only unary and pairwise potentials, it has been shown that the addition of higher order potentials defined on cliques with more than two nodes can result in a better segmentation outcome. In this paper, we show that two types of higher order potential, namely, object detection based potentials and superpixel based potentials, can be included in a CRF embedded within a deep network. We design these higher order potentials to allow inference with the efficient and differentiable mean-field algorithm, making it possible to implement our CRF model as a stack of layers in a deep network. As a result, all parameters of our richer CRF model can be jointly learned with a CNN classifier during the end-to-end training of the entire network. We find significant improvement in the results with the introduction of these trainable higher order potentials.

研究の動機と目的

• 深層ニューラルネットワークに高次CRFポテンシャルを統合することで、セマンティックセグメンテーションの性能を向上させること。
• 高次ポテンシャルを微分可能にすることで、CNNとCRFのエンドツーエンド学習を可能にすること。
• 効率的な平均場推論と互換性を持つ、物体検出に基づくおよびスーパーセルに基づく高次ポテンシャルを設計すること。
• 学習可能な高次ポテンシャルがセグメンテーション精度に測定可能な向上をもたらすことを示すこと。

提案手法

• 2つ以上のノードからなるクリークに定義された高次ポテンシャルを導入し、特に物体検出とスーパーセルセグメンテーションの出力を用いる。
• 平均場近似と互換性を持つようにこれらのポテンシャルを設計し、効率的かつ微分可能な推論を保証する。
• CRFを深層ニューラルネットワーク内の微分可能なレイヤーとして埋め込み、全アーキテクチャを通り抜けるバックプロパゲーションを可能にする。
• CNN分類器からのユニタリーポテンシャルと、新規に導入された高次ポテンシャルを統合されたCRFフレームワークで組み合わせる。
• 分割関数の近似に平均場アルゴリズムを適用し、勾配計算とエンドツーエンド最適化を可能にする。
• CNNの重みとCRFパラメータを同時に最適化するように、全モデルをエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 高次CRFポテンシャルを深層学習パイプラインに統合することで、セマンティックセグメンテーションの性能が向上するか？
• RQ2 物体検出に基づくおよびスーパーセルに基づく高次ポテンシャルを、エンドツーエンド学習に適した微分可能なものにできるか？
• RQ3 これらの学習可能な高次ポテンシャルを含めることで、標準CRFやベースラインネットワークと比較して測定可能な性能向上が得られるか？
• RQ4 平均場近似の下で、これらの高次ポテンシャルに対する効率的な推論が可能か？

主な発見

• 学習可能な高次ポテンシャルの統合により、セマンティックセグメンテーションの性能が顕著に向上した。
• 平均場推論を介して高次ポテンシャルを微分可能にすることで、CNNとCRFのエンドツーエンド学習が可能となった。
• 物体検出に基づくおよびスーパーセルに基づく高次ポテンシャルは、より正確で構造的な予測をもたらした。
• 標準CRFやこのような構造的モデリングを備えないベースラインネットワークと比較して、本モデルは優れたセグメンテーション結果を達成した。