[論文レビュー] Convolutional Pseudo-Prior for Structured Labeling.

Saining Xie, Xun Huang+1 more|arXiv (Cornell University)|Nov 23, 2015

Advanced Image and Video Retrieval Techniques参考文献 26被引用数 5

ひとこと要約

この論文では、畳み込みフィルタを用いてアノテーションラベルから直接文脈的事前知識を学ぶ、構造的ラベリングのための新しいエンドツーエンドディープラーニング手法である畳み込み疑似事前分布（ConvPP）を提案する。固定点ネットワークと疑似尤度近似を活用することで、反復的最適化や手動による事前知識設計を必要とせず、画像および順序付きラベリングベンチマークで最先端の性能を達成する。

ABSTRACT

Current practice in convolutional neural networks (CNN) remains largely bottom-up and the role of top-down process in CNN for pattern analysis and visual inference is not very clear. In this paper, we propose a new method for structured labeling by developing convolutional pseudo-prior (ConvPP) on the ground-truth labels. Our method has several interesting properties: (1) compared with classical machine learning algorithms like CRFs and Structural SVM, ConvPP automatically learns rich convolutional kernels to capture both short- and long- range contexts; (2) compared with cascade classifiers like Auto-Context, ConvPP avoids the iterative steps of learning a series of discriminative classifiers and automatically learns contextual configurations; (3) compared with recent efforts combing CNN models with CRFs and RNNs, ConvPP learns convolution in the labeling space with much improved modeling capability and less manual specification; (4) compared with Bayesian models like MRFs, ConvPP capitalizes on the rich representation power of convolution by automatically learning priors built on convolutional filters. We accomplish our task using pseudo-likelihood approximation to the prior under a novel fixed-point network structure that facilitates an end-to-end learning process. We show state-of-the-art results on sequential labeling and image labeling benchmarks.

研究の動機と目的

• 標準的なCNNにおける上位からの文脈的推論の役割が、構造的ラベリングタスクにおいて限定的であるという問題に取り組むこと。
• Auto-Contextのような反復的手法の限界や、CRF-RNNやCRF-SVMハイブリッド手法における手動による事前知識設計の負担を克服すること。
• 明示的なグラフィカルモデルの定義を必要とせず、ラベル空間から豊富な畳み込み事前知識を自動で学習する統合的ディープラーニングフレームワークを構築すること。
• ラベル空間におけるCNNの表現力を利用することで、構造的予測のモデリング能力と一般化性能を向上させること。

提案手法

• ラベル空間における畳み込みフィルタを用いて、アノテーションラベルから直接事前知識を学ぶ畳み込み疑似事前分布（ConvPP）を提案する。
• 反復的推論プロセスの安定化によりエンドツーエンド学習を可能にする固定点ネットワーク構造を採用する。
• 完全尤度計算を必要とせず、ラベル構成の事前分布をモデル化するための疑似尤度近似を用いる。
• ラベル空間におけるスタックド畳み込みカーネルにより、短距離および長距離の依存関係を両方学習することで文脈情報を統合する。
• 固定点反復をネットワークアーキテクチャに埋め込むことで反復的トレーニングループを回避し、特徴量と事前知識の共同最適化を可能にする。
• 手動による特徴量や事前知識の設計を必要とせず、CNNの表現力により複雑なラベル構成を自動で発見する。

実験結果

リサーチクエスチョン

• RQ1 明示的なグラフィカルモデル設計を伴わず、アノテーションラベルから直接有効な文脈的事前知識を学習できるディープラーニングモデルは存在するか？
• RQ2 ConvPPは、構造的予測における長距離依存関係を捉える点で、CRF や構造的SVM といった古典的手法に比べてどのように優れているか？
• RQ3 反復的分類器学習を排除することで、Auto-Context や類似の段階的アプローチを上回れるか？
• RQ4 ラベル空間における畳み込み事前知識のエンドツーエンド学習は、ハイブリッドCNN-CRF や CNN-RNNアーキテクチャに比べてどの程度性能を向上させるか？
• RQ5 固定点ネットワーク構造は、疑似尤度最適化を用いた構造的ラベリングのための安定的かつ効果的なエンドツーエンドトレーニングを可能にするか？

主な発見

• ConvPPは、順序付きラベリングおよび画像ラベリングベンチマークの両方で最先端の性能を達成し、CRF、構造的SVM、および段階的分類器を上回る。
• この手法は、ラベル空間における局所的および長距離の文脈的依存関係を捉える豊富な畳み込みカーネルを自動で学習する。
• 反復的最適化を回避することで、Auto-Context や類似の段階的手法と比較してトレーニングの複雑さが低減する。
• 疑似尤度近似により、完全な事後分布推論や複雑な最適化を必要とせず、効果的な事前知識の学習が可能である。
• 固定点ネットワーク構造により、安定したエンドツーエンドトレーニングが保証され、特徴量と事前知識の共同最適化が可能になる。
• MRFのようなベイズモデルと比較して、ConvPPはディープ畳み込み表現を通じて直接事前知識を学ぶことで、優れたモデリング能力を示す。