[論文レビュー] Efficient Learning of Structured Predictors in General Graphical Models

Tamir Hazan, Raquel Urtasun|arXiv (Cornell University)|Oct 8, 2012

Advanced Image and Video Retrieval Techniques被引用数 5

ひとこと要約

本稿では、温度パラメータを用いてCRFと構造的SVMを統一する拡張されたロス関数を導入することで、一般のグラフィカルモデルにおける構造的予測子の学習のための効率的なメッセージスティンングアルゴリズムを提案する。この手法により、擬似モーメントマッチングと分数エントロピー近似を用いて、低次元のプライマルおよびデュアルプログラムにおける最適解への収束が可能となり、ステレオ推定、セマンティックセグメンテーション、形状再構築、インDoorシーン理解の分野で最先端の結果を達成する。

ABSTRACT

In this paper we derive an efficient message-passing algorithm to learn the parameters of structured predictors in general graphical models. We define the extended log-loss, which relates the log-loss of CRFs and the hinge-loss of structured SVMs through a temperature parameter. We then investigate the primal and dual properties of the extended log-loss, showing that the dual programs of both CRFs and structured SVMs perform moment matching using different selection rules. Utilizing the graphical models of the predictors, we describe a low dimensional extended log-loss formulation, which is derived from pseudo moment matching and a fractional entropy approximation selection rule in the dual setting. We propose an efficient message-passing algorithm that is guaranteed to converge to the optimum of the low dimensional primal and dual programs. Unlike many of the existing approaches, this allows us to learn efficiently high-order graphical models, over regions of any size, and very large number of parameters. We demonstrate the effectiveness of our approach, while presenting state-of-the-art results in stereo estimation, semantic segmentation, shape reconstruction, and indoor scene understanding.

研究の動機と目的

• 一般のグラフィカルモデルにおける構造的予測子のための効率的な学習アルゴリズムの開発。
• 温度パラメータ化された拡張されたロス関数を用いて、CRFと構造的SVMを統一する。
• 任意の領域サイズおよび大きなパrameter空間を持つ高次元グラフィカルモデルにおける学習を可能にする。
• 低次元のプライマルおよびデュアルプログラムにおける最適解への収束を実現する。
• ステレオ推定やセマンティックセグメンテーションを含む、複数の視覚タスクで最先端の性能を示す。

提案手法

• 本稿では、温度パラメータを用いてCRFのロス関数と構造的SVMのハーフィングロス関数の間を滑らかに補間する拡張されたロス関数を導入する。
• CRFと構造的SVMのデュアルプログラムを、異なる選択ルールを持つモーメントマッチング手順として定式化する。
• デュアル設定において、擬似モーメントマッチングと分数エントロピー近似の選択ルールを用いて、低次元の拡張されたロス関数の定式化を導出する。
• 低次元のプライマルおよびデュアルプログラムの最適解に保証的に収束するメッセージスティンングアルゴリズムを採用する。
• 予測子のグラフィカルモデル構造を活用することで、高次元および大規模パrameterを持つモデルに対しても効率的な最適化を可能にする。
• 本手法は任意のサイズの領域を扱えるように設計されており、大規模な構造的予測問題に対しても効率的にスケーリング可能である。

実験結果

リサーチクエスチョン

• RQ1 温度パラメータを用いて、CRFと構造的SVMを1つの学習フレームワークで統一することは可能か？
• RQ2 構造的予測の文脈において、拡張されたロス関数のプライマルおよびデュアル特性は何か？
• RQ3 デュアル定式化において、異なる選択ルールを用いてモーメントマッチングをどのように適応可能にするか？
• RQ4 擬似モーメントマッチングと分数エントロピー近似を用いて、低次元の拡張されたロス関数の定式化を導出可能か？
• RQ5 提案されたメッセージスティンングアルゴリズムは、高次元グラフィカルモデルにおいて最適解への収束を保証するか？

主な発見

• 提案されたメッセージスティンングアルゴリズムは、低次元のプライマルおよびデュアルプログラムの最適解に保証的に収束する。
• 拡張されたロス関数は、温度パラメータを介してCRFのロス関数と構造的SVMのハーフィングロス関数を効果的に統一する。
• 本手法により、任意のサイズの領域と非常に多くのパrameterを持つ高次元グラフィカルモデルにおいても、効率的な学習が可能になる。
• ステレオ推定、セマンティックセグメンテーション、形状再構築、インドアシーン理解の分野で、最先端の性能を達成する。
• 擬似モーメントマッチングと分数エントロピー近似の使用により、最適化効率を維持したまま低次元のデュアル定式化が実現される。
• 複数のベンチマーク視覚タスクにおいて、既存手法を上回る性能を示し、実用的有効性が実証される。