[論文レビュー] Optimal DR-Submodular Maximization and Applications to Provable Mean Field Inference

An Bian, Joachim M. Buhmann+1 more|arXiv (Cornell University)|May 19, 2018

Bayesian Modeling and Causal Inference参考文献 39被引用数 13

ひとこと要約

本稿では、ボックス制約下での連続的DR下位単調最大化のための新規1パスアルゴリズムDR-DoubleGreedyを提案する。線形時間で最適な1/2近似比を達成する。確率的対数下位単調モデルにおける証明可能な平均場推論とポストリヤー整合性スコアリングを可能とし、Amazon Baby Registriesを含む合成的および実世界のデータセットにおいて、近似品質と収束速度の両面で既存手法を上回る。

ABSTRACT

Mean field inference in probabilistic models is generally a highly nonconvex problem. Existing optimization methods, e.g., coordinate ascent algorithms, can only generate local optima. In this work we propose provable mean filed methods for probabilistic log-submodular models and its posterior agreement (PA) with strong approximation guarantees. The main algorithmic technique is a new Double Greedy scheme, termed DR-DoubleGreedy, for continuous DR-submodular maximization with box-constraints. It is a one-pass algorithm with linear time complexity, reaching the optimal 1/2 approximation ratio, which may be of independent interest. We validate the superior performance of our algorithms against baseline algorithms on both synthetic and real-world datasets.

研究の動機と目的

• 確率的対数下位単調モデルにおける平均場推論の証明可能な近似保証の欠如に対処すること。
• ボックス制約付き連続的DR下位単調最大化の証明可能な最適なアルゴリズムを開発すること。
• 多エポック手法へのアルゴリズムの拡張により、確率的構造的モデルにおける推論を向上させること。
• ELBOおよびポストリヤー整合性目的の両方において、実世界のデータセット（Amazon Baby Registriesを含む）で手法を検証すること。
• 平均場目的関数の実用的最適化のための効率的なマルチ線形拡張評価技術の提供。

提案手法

• ボックス制約付き連続的DR下位単調最大化に特化した1エポックのダブルグリーディアルゴリズム、DR-DoubleGreedyを提案する。
• 理論的分析により、最適な1/2近似比を達成することを証明する。
• 多エポック拡張では座標ごとの最大化戦略を採用し、解を精緻化するDG-MeanFieldを設計する。
• 広範な下位単調目的関数クラスに対して、多項式時間でマルチ線形拡張を計算する効率的手段を導入する。
• 平均場近似プロセスをアンロールして、バックプロパゲーションによるエンドツーエンド微分可能トレーニングを可能にする。
• 情報理論的基準を用いたモデル検証を可能にする、ポストリヤー整合性（PA）スコアリングへのフレームワークの適用。

実験結果

リサーチクエスチョン

• RQ1 ボックス制約付き連続的DR下位単調最大化のための証明可能な最適なアルゴリズムを設計できるか？
• RQ2 提案されたDR-DoubleGreedyアルゴリズムは、近似品質および収束速度の両面で既存のベースラインと比較してどのように異なるか？
• RQ3 平均場近似を微分可能レイヤーにアンロールすることで、下位単調ユーティリティ関数のエンドツーエンドトレーニングが可能か？
• RQ4 このアルゴリズムは、確率的対数下位単調モデルにおけるログパーティション関数の下界をどの程度向上させるか？
• RQ5 この手法は、ポストリヤー整合性スコアリングのような実世界のモデル検証タスクに効果的に応用可能か？

主な発見

• DR-DoubleGreedyは、ボックス制約付き連続的DR下位単調最大化において、最適な1/2近似比を達成し、すべてのテストケースでSubmodular-DoubleGreedy（1/3保証）およびBSCBを上回る。
• Amazon Baby Registriesデータセットにおいて、DR-DoubleGreedyは、すべてのカテゴリおよび潜在次元（D=2,3,10）において、BSCBおよびベースラインと比較して優れたELBOおよびPA-ELBO値を達成した。
• PA-ELBO目的関数において、DR-DoubleGreedyは平均値3.751±0.087（n=100, D=2）、3.878±0.092（n=100, D=3）、3.751±0.087（n=100, D=10）を達成し、一貫してBSCBおよびベースラインを上回った。
• 多エポック設定では、DG-MeanField-1/2は、初期値感度に起因する悪く局所最適解を回避する点で、CoordinateAscentよりも高速に収束し、より優れた解に到達した。
• 十分な反復後、すべての多エポックアルゴリズムは類似したELBO値に収束した。これは、1エポックの解の品質が長期的性能を決定づけることを確認した。
• 本手法により、効率的なポストリヤー整合性（PA）近似が可能となり、DR-DoubleGreedyは平均PA-ELBOが2.225±0.136（n=100, D=10）および1.742±0.098（n=100, D=10）の across folds を達成し、強い経験的安定性を示した。