[論文レビュー] Convex Relaxations for Learning Bounded Treewidth Decomposable Graphs

Krishna Kumar, Francis Bach|arXiv (Cornell University)|Dec 11, 2012

Machine Learning and Algorithms参考文献 33被引用数 14

ひとこと要約

本稿では、森とハイパーモデル多面体上の組合せ最適化を介して、有界木幅の分解可能グラフィカルモデルを学習するための新しい凸緩和手法を提案する。これにより、多項式時間の最尤構造学習が可能になる。グリーディなマトロイドベースの内側ループを用いたスーパーグラディエント法を採用し、合成データおよび実世界のデータ（例：TRAFFIC, ALARM）において、特に強い相関がある状況下で、最先端の手法を上回る対数尤度性能を達成する。

ABSTRACT

We consider the problem of learning the structure of undirected graphical models with bounded treewidth, within the maximum likelihood framework. This is an NP-hard problem and most approaches consider local search techniques. In this paper, we pose it as a combinatorial optimization problem, which is then relaxed to a convex optimization problem that involves searching over the forest and hyperforest polytopes with special structures, independently. A supergradient method is used to solve the dual problem, with a run-time complexity of $O(k^3 n^{k+2} \log n)$ for each iteration, where $n$ is the number of variables and $k$ is a bound on the treewidth. We compare our approach to state-of-the-art methods on synthetic datasets and classical benchmarks, showing the gains of the novel convex approach.

研究の動機と目的

• 最大尤度推定下での木幅が有界な無向グラフィカルモデルの学習というNP困難問題に対処すること。
• 既存手法における局所探索や非凸最適化の限界を克服するため、問題を凸緩和として定式化すること。
• 理論的保証と改善された実験的性能を備えた、効率的で多項式時間の構造学習を可能にすること。
• 変分推論の適用範囲を拡張し、木を越えたより高い木幅の扱いやすい近似を可能にすること。

提案手法

• 有界木幅の構造学習問題を、分解可能グラフ上の組合せ最適化タスクとして定式化する。
• グラフィックおよびハイパーグラフィックマトロイド多面体を含む凸最適化フレームワークに問題を緩和する。
• 2つのマトロイドに対して、グリーディアルゴリズムを内側ループとして用いたスーパーグラディエント上昇法により双対問題を解く。
• 分数解を有効な整数解に変換するためのラウンディングスキームを採用する。
• 1反復あたりの実行時間は $O(k^3 n^{k+2} ext{log} n)$ であり、$n$ は変数の数、$k$ は木幅の上限を表す。
• 実験的評価として、合成データおよび実世界のベンチマーク（TRAFFIC, ALARM）に本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 多項式時間最適化を可能にする、有界木幅の分解可能グラフィカルモデルの学習のための凸緩和を構築できるか？
• RQ2 提案手法の凸アプローチは、非凸の局所探索やヒューリスティック手法と比較して、対数尤度および構造の正確性においてどのように性能を発揮するか？
• RQ3 相関強度（$d$）の影響は、提案された緩和とラウンディングスキームを用いた学習されたグラフ構造の品質にどのように現れるか？
• RQ4 どのような条件下で緩和がタイトな解をもたらし、その特徴はどのように特徴づけられるか？
• RQ5 本手法は、既存のアプローチを上回る性能を維持しながら、実世界のデータセットへスケーリング可能か？

主な発見

• 提案された凸緩和は、ALARMおよびTRAFFICデータセット（$k=3$）において、Chow-LiuツリーおよびPAC-JTアルゴリズムを含む最先端手法を対数尤度で上回る性能を発揮する。
• 強い相関（$d=32$）を有するチェーン接続木構造において、本手法は $\Delta$ Primal r として 57.3 を達成し、同じ設定で 58.3 を示すグリーディベースラインを著しく上回る。
• 星型接続木構造（$d=32$）において、本手法は $\Delta$ Primal r として 58.3 を達成し、グリーディベースラインと同等の 58.3 を示しており、強い相関下で近似的に最適な性能を発揮している。
• 一般には緩和がタイトではないが、相関が強い場合（例：$d \geq 16$）にはラウンディングスキームにより最適または近似的に最適な解が回復される。
• TRAFFICおよびALARMデータセットの両方において、既存手法よりも高い対数尤度が達成されており、近似品質の向上が示された。
• 1反復あたりの実行時間は $O(k^3 n^{k+2} \log n)$ であり、$n$ および $k$ が中程度の規模である場合に本手法はスケーラブルである。