[論文レビュー] Structured learning of sum-of-submodular higher order energy functions

Alexander Fix, Thorsten Joachims+2 more|arXiv (Cornell University)|Sep 28, 2013

Advanced Neural Network Applications参考文献 28被引用数 6

ひとこと要約

本論文は、コンピュータビジョンにおける和集合サブモジュラー（SoS）高次エネルギー関数のための、初めての判別的学習フレームワークを提案する。構造的SVMと拡張カットプレーン法を用いて、大きなパrameter空間において効率的に最適化を行う。この手法は、訓練データから複雑で表現力のある事前知識を学習し、GrabCutのような手動チューニングされたベースラインと比較して顕著に優れたセグメンテーション性能を達成し、標準データセットで平均7.3%の誤差率を達成した。

ABSTRACT

Submodular functions can be exactly minimized in polynomial time, and the special case that graph cuts solve with max flow \cite{KZ:PAMI04} has had significant impact in computer vision \cite{BVZ:PAMI01,Kwatra:SIGGRAPH03,Rother:GrabCut04}. In this paper we address the important class of sum-of-submodular (SoS) functions \cite{Arora:ECCV12,Kolmogorov:DAM12}, which can be efficiently minimized via a variant of max flow called submodular flow \cite{Edmonds:ADM77}. SoS functions can naturally express higher order priors involving, e.g., local image patches; however, it is difficult to fully exploit their expressive power because they have so many parameters. Rather than trying to formulate existing higher order priors as an SoS function, we take a discriminative learning approach, effectively searching the space of SoS functions for a higher order prior that performs well on our training set. We adopt a structural SVM approach \cite{Joachims/etal/09a,Tsochantaridis/etal/04} and formulate the training problem in terms of quadratic programming; as a result we can efficiently search the space of SoS priors via an extended cutting-plane algorithm. We also show how the state-of-the-art max flow method for vision problems \cite{Goldberg:ESA11} can be modified to efficiently solve the submodular flow problem. Experimental comparisons are made against the OpenCV implementation of the GrabCut interactive segmentation technique \cite{Rother:GrabCut04}, which uses hand-tuned parameters instead of machine learning. On a standard dataset \cite{Gulshan:CVPR10} our method learns higher order priors with hundreds of parameter values, and produces significantly better segmentations. While our focus is on binary labeling problems, we show that our techniques can be naturally generalized to handle more than two labels.

研究の動機と目的

• ペairワイズポテンシャルを超える表現力を持つ高次元の事前知識を学習する課題に対処すること。
• サブモジュラー・フローを用いて最小化可能ではあるが、多数のパrameterを持つ和集合サブモジュラー（SoS）関数のための効率的な学習手法を開発すること。
• 判別的学習をSoS関数に適用し、手動チューニングではなく訓練データから最適な事前知識を自動で発見できることを可能にすること。
• 二値ラベル化にとどまらず、マルチラベルセグメンテーションへとこのアプローチを一般化し、実世界のビジョンデータセットにおける有効性を示すこと。

提案手法

• 二次計画法を用いた構造的SVMとして学習問題を定式化し、SoSエネルギー関数のマージン最大化学習を可能にする。
• 訓練中にSoS関数の空間を効率的に探索するため、拡張カットプレーン法を用いる。
• 最小化されたSoSエネルギー関数の推論エンジンとして、最大フローの変種であるサブモジュラー・フローを採用する。
• 単一項および高次元クライークポテンシャルを統合した統一的な学習フレームワークを構築し、すべてのパrameterを同時に最適化可能にする。
• 2×2画像パッチの勾配応答にk-meansクラスタリングを適用し、高次元事前知識のためのサブモジュラー・クライーク関数を定義する。
• 実用的かつ効率的なサブモジュラー・フロー問題の解法として、最新のIBFSベースの最大フロー法を適応応用する。

実験結果

リサーチクエスチョン

• RQ1 構造予測のビジョン分野における和集合サブモジュラー（SoS）高次エネルギー関数に、判別的学習を効果的に適用できるか？
• RQ2 データから学習したSoS事前知識は、GrabCutのような手動チューニング固定ポテンシャルモデルを上回るか？
• RQ3 大規模なパrameter空間を持つSoS関数を効率的に処理しながら、トレーニングと推論の実行可能性を維持できるか？
• RQ4 このフレームワークは、二値ラベル化にとどまらず、マルチラベルセグメンテーションタスクへ一般化可能か？

主な発見

• 提案されたS3SVM手法は、テストセットで平均7.3%のピクセル単位誤差率を達成し、OpenCVのGrabCutベースライン（10.6%）を著しく上回った。
• S3SVM-AMN（ペアワイズポテンシャルのみを用いた特別なケース）は誤差を7.5%まで低減し、学習による利点が明確に示された。
• S3SVMフルモデルのトレーニング時間は92,000秒、1枚あたりの推論時間は1.67秒であり、スケーラビリティを示した。
• 手法は約400の単一項特徴量重みと、1枚の2×2パッチあたり約50のサブモジュラー・クライークポテンシャルを学習し、豊富でデータ駆動型の事前知識を可能にした。
• 視覚的結果では、複雑なテクスチャや境界部において、アーチファクトが少なくより滑らかなセグメンテーションが得られた。
• 7クラスのマルチラベルセグメンテーションデータセットにおける予備の結果から、本手法は二値ラベル化を越えた一般化可能性を示した。