[論文レビュー] Approximating the Permanent with Belief Propagation

Bert Huang, Tony Jebara|ArXiv.org|Aug 12, 2009

Error Correcting Code Techniques参考文献 20被引用数 42

ひとこと要約

本稿では、非負行列のpermanentを効率的に近似するための信念伝播（BP）に基づく手法を提案する。この手法は、partition functionがpermanentに等しくなる確率分布を定式化することで、Bethe自由エネルギー近似を用いて、各反復で$O(n^2)$の時間計算量を達成し、置換不変性が求められるカーネル学習タスクにおいても、標準的なRBFカーネルを上回る頑健な性能を示す。

ABSTRACT

This work describes a method of approximating matrix permanents efficiently using belief propagation. We formulate a probability distribution whose partition function is exactly the permanent, then use Bethe free energy to approximate this partition function. After deriving some speedups to standard belief propagation, the resulting algorithm requires $(n^2)$ time per iteration. Finally, we demonstrate the advantages of using this approximation.

研究の動機と目的

• 非負行列の#P完全なpermanentの高速でスケーラブルな近似手法を開発すること。
• グラフィカルモデルと信念伝播を活用して、partition functionの定式化によりpermanentを近似すること。
• 置換不変性が重要なカーネル学習タスクにおいて、本手法の性能を評価すること。
• BPに基づくpermanent近似の理論的・実験的性質、特に収束性と頑健性を調査すること。

提案手法

• そのpartition functionが正確に行列のpermanentに等しくなるようなマッチング上での確率分布を定式化する。
• partition functionの推定を目的とした変分的目的関数を最小化するために、Bethe自由エネルギー近似を用いる。
• ループを含む信念伝播（loopy belief propagation）を用いて、二部グラフにおける割り当てを表す変数間のメッセージを反復的に更新する。
• 標準的なBPの高速化を導出し、各反復の時間計算量を$O(n^2)$に削減する。
• データポイント間の部分カーネル行列の近似permanentに基づいてカーネル関数を構築する。
• 得られた近似permanentカーネルをSVM分類タスクに適用し、特徴量のシャッフルに対する頑健性をテストする。

実験結果

リサーチクエスチョン

• RQ1 信念伝播は、非負行列のpermanentの近似に効果的に適用可能か？
• RQ2 MCMCサンプリングやRyserのアルゴリズムといった正確な手法と比較して、BPに基づく近似は速度と精度の面でどう異なるか？
• RQ3 近似permanentは機械学習タスク用に有効な正定値カーネルとして成立するか？
• RQ4 特徴量の置換またはデータのシャッフルに対して、BPに基づくpermanent近似はどれほど頑健か？

主な発見

• BPに基づく手法は各反復で$O(n^2)$の時間計算量を達成し、小規模から中規模の$n$に対してMCMCサンプリングやRyserのアルゴリズムを著しく上回る。
• シャッフルされたデータにおいて、近似permanentカーネルは常に標準的なRBFカーネルを上回り、置換不変性に対して頑健であることが示された。
• 反復的な近似の性質にもかかわらず、近似permanentカーネルは有効な正定値行列を生成した。
• pendigitsデータセットにおいて、$ au=0.2$のpermanentカーネルは平均誤差0.1463を達成し、置換不変性が求められる条件下でベースラインのRBFカーネルを上回った。
• サンプリングベースの手法とは異なり、本手法は真の値の周辺を上下に振動するのではなく、より安定していた。