[論文レビュー] A submodular-supermodular procedure with applications to discriminative structure learning

Mukund Narasimhan, Jeff Bilmes|arXiv (Cornell University)|Jul 4, 2012

Complexity and Algorithms in Graphs参考文献 3被引用数 40

ひとこと要約

本稿では、凸凹凸法（CCCP）の変種を用いて、2つの単調減少関数の差を最小化するための部分集合的・上単調的手法（SSP）を提案する。この手法により、計算複雑性制約下での判別的グラフィカルモデルの学習および特徴選択が効率的に行えるようになり、合成データ上での生成モデルに対する顕著な性能向上が示された。特に、EAR指標で測定される判別的性能の向上が顕著である。

ABSTRACT

In this paper, we present an algorithm for minimizing the difference between two submodular functions using a variational framework which is based on (an extension of) the concave-convex procedure [17]. Because several commonly used metrics in machine learning, like mutual information and conditional mutual information, are submodular, the problem of minimizing the difference of two submodular problems arises naturally in many machine learning applications. Two such applications are learning discriminatively structured graphical models and feature selection under computational complexity constraints. A commonly used metric for measuring discriminative capacity is the EAR measure which is the difference between two conditional mutual information terms. Feature selection taking complexity considerations into account also fall into this framework because both the information that a set of features provide and the cost of computing and using the features can be modeled as submodular functions. This problem is NP-hard, and we give a polynomial time heuristic for it. We also present results on synthetic data to show that classifiers based on discriminative graphical models using this algorithm can significantly outperform classifiers based on generative graphical models.

研究の動機と目的

• 判別的構造学習および特徴選択の文脈で生じる、2つの単調減少関数の差を最小化する多項式時間ヒューリスティクスの開発を目的とする。
• 計算制約下での判別的グラフィカルモデル学習および特徴選択のNP困難性に対処することを目的とする。
• 相互情報量や条件付き相互情報量といった、本質的に単調減少的である指標に適用可能なスケーラブルな最適化フレームワークを提供することを目的とする。
• 生成モデルを上回る性能を示す判別的構造を学習することで、分類性能を向上させることを目的とする。
• 合成データ上での提案アルゴリズムの有効性を、判別的性能の測定可能な向上を伴って示すこと。

提案手法

• アルゴリズムは、凸凹凸法（CCCP）の拡張に基づく変種的定式化を用い、2つの単調減少関数の差を最小化する。
• 反復的に差の凸上界を最適化し、単調減少関数の性質を活用して取り扱い可能な更新を実現する。
• 相互情報量と計算コストの両方が単調減少関数としてモデル化可能であることに着目し、両者の共同最適化を可能にする。
• 条件付き相互情報量の差として定義されるEAR指標を最大化することで、判別的グラフィカルモデルを学習する。
• NP困難性に対処するため、グリーディ近似戦略を採用し、多項式時間の複雑性を保証する。
• 合成データ上での実験を通じて、判別的モデルと生成的モデルの性能を比較し、アルゴリズムの妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 機械学習の応用において、2つの単調減少関数の差を最小化する多項式時間アルゴリズムを開発可能か？
• RQ2 部分集合的・上単調的手法は、生成モデルと比較して判別的構造学習をどの程度効果的に改善できるか？
• RQ3 単調減少最適化を用いることで、特徴選択における特徴の有用性と計算コストのバランスをどの程度達成できるか？
• RQ4 提案手法は、判別的性能の主要指標であるEAR指標において優れた性能を達成できるか？
• RQ5 理論的保証を維持したまま、高次元問題に対しても効果的にスケーリング可能か？

主な発見

• 提案されたSSPアルゴリズムを用いて学習された判別的グラフィカルモデルに基づく分類器は、合成データ上での生成モデルに基づく分類器を顕著に上回る性能を示した。
• 判別的性能の指標として用いられるEAR指標は、部分集合的・上単調最適化フレームワークにより効果的に最大化された。
• 計算複雑性制約下でのNP困難な特徴選択問題に対して、情報量の増加と計算コストの両方をバランスさせるスケーラブルなヒューリスティクスを提供した。
• アルゴリズムは実験的に強く性能を示し、ベースラインの生成的モデルと比較して分類精度の明確な向上が確認された。
• CCCPの変種的拡張により、単調減少関数の差の最小化が効果的に実現され、構造学習分野における新たな応用が可能になった。
• 本フレームワークは汎用的であり、利便性とコストの両方が単調減少関数としてモデル化可能な問題に適用可能である。