[論文レビュー] Learning-Theoretic Foundations of Algorithm Configuration for Combinatorial Partitioning Problems

Maria-Florina Balcan, Vaishnavh Nagarajan+2 more|arXiv (Cornell University)|Nov 14, 2016

Complexity and Algorithms in Graphs参考文献 27被引用数 8

ひとこと要約

この論文は、max-cut やクラスタリングなどの組合せ的分割問題におけるアルゴリズムの構成に関する学習理論的基盤を確立する。期待コストをアプリケーション固有の入力分布上で最小化することで、SDPに基づくラウンディング法および凝集型クラスタリング手法の族から最適なアルゴリズムを選択する、計算および標本効率の良い学習アルゴリズムを提案する。また、単一パラメータ族ですら驚くべき高さの複雑さを示す、きつい擬似次元の境界を提示する。

ABSTRACT

Max-cut, clustering, and many other partitioning problems that are of significant importance to machine learning and other scientific fields are NP-hard, a reality that has motivated researchers to develop a wealth of approximation algorithms and heuristics. Although the best algorithm to use typically depends on the specific application domain, a worst-case analysis is often used to compare algorithms. This may be misleading if worst-case instances occur infrequently, and thus there is a demand for optimization methods which return the algorithm configuration best suited for the given application's typical inputs. We address this problem for clustering, max-cut, and other partitioning problems, such as integer quadratic programming, by designing computationally efficient and sample efficient learning algorithms which receive samples from an application-specific distribution over problem instances and learn a partitioning algorithm with high expected performance. Our algorithms learn over common integer quadratic programming and clustering algorithm families: SDP rounding algorithms and agglomerative clustering algorithms with dynamic programming. For our sample complexity analysis, we provide tight bounds on the pseudodimension of these algorithm classes, and show that surprisingly, even for classes of algorithms parameterized by a single parameter, the pseudo-dimension is superconstant. In this way, our work both contributes to the foundations of algorithm configuration and pushes the boundaries of learning theory, since the algorithm classes we analyze consist of multi-stage optimization procedures and are significantly more complex than classes typically studied in learning theory.

研究の動機と目的

• max-cut やクラスタリングのような NP 困難な分割問題における、最悪ケースのアルゴリズム解析と実世界のパフォーマンスとの不一致を解消すること。
• アプリケーション固有の入力分布に対して最良のパフォーマンスを示すアルゴリズムを選択する学習理論的アルゴリズムを設計すること。
• SDP ラウンディングや動的計画法を用いた凝集型クラスタリングを含む、無限個のアルゴリズムクラスの擬似次元を分析し、標本および計算効率を確立すること。
• 組合せ最適化における最適なアルゴリズム構成を学ぶための、きつい標本複雑度の境界を提供すること。
• 単一パラメータ族であっても、非定数の擬似次元を示す可能性があることにより、学習理論における仮定に疑問を呈すること。

提案手法

• アプリケーションドメインを問題インスタンスの分布としてモデル化し、これらのインスタンスにおけるアルゴリズムパフォーマンスを測るコスト関数を定義する。
• アルゴリズムクラスの擬似次元を分析し、区間上で振動するコスト関数を用いた構成により、単一パラメータ族であっても擬似次元が非定数であることを証明する。
• 標本インスタンスを抽出し、コスト関数が変化する重要な α 値の周囲でコストを評価する、経験的リスク最小化（ERM）アルゴリズムを設計する。このとき、コスト関数は区分的定数関数としての振る舞いを示す。
• SDPに基づくアルゴリズムでは、α でパrameter化された確率的ラウンディング手順を用い、クラスタリングでは動的計画法を用いた凝集型クラスタリングを、両方とも α でパラメータ化する。
• 平均距離を α 乗した量を含む方程式を解くことで、コスト関数の不連続点を同定し、これらの点の間の区間でパフォーマンスを評価する。
• 擬似次元に基づく標本複雑度解析を用い、$ (\epsilon,\delta) $-学習が $ n $, $ 1/\epsilon $, $ 1/\delta $ に対して多項式的に有界な標本数で達成されることを保証する。

実験結果

リサーチクエスチョン

• RQ1 最悪ケースの解析に依存するのではなく、アプリケーション固有の入力分布に対して、効率的な学習アルゴリズムを設計して分割アルゴリズムを構成することは可能か？
• RQ2 SDP ラウンディングや動的計画法を用いた凝集型クラスタリングのような、無限個の組合せ最適化アルゴリズム族の擬似次元は何か？
• RQ3 アルゴリズムが単一の実数パラメータでパラメータ化されている場合、アルゴリズム構成の複雑さは入力サイズにどのようにスケーリングされるか？
• RQ4 max-cut やクラスタリングのような NP 困難問題において、最適なアルゴリズム構成を学ぶ際の標本および計算効率を達成できるか？
• RQ5 アルゴリズムパラメータ上のコスト関数のどのような構造的性質が、効率的な経験的リスク最小化を可能にするか？

主な発見

• SDP ベースのラウンディングおよび凝集型クラスタリングのアルゴリズム族の擬似次元は、単一の実数パラメータでパラメータ化されていても非定数であり、学習における高い複雑さを示している。
• 本論文では、パラメータ α の関数としてコスト関数が $ 2^N $ 回振動するクラスタリングインスタンスを構成し、擬似次元が少なくとも $ \Omega(n) $ であることを証明する。
• 動的計画法を用いた凝集型クラスタリングでは、標本複雑度 $ O\left(\left(\frac{H}{\epsilon}\right)^2(n + \log\frac{1}{\delta})\right) $ で $ (\epsilon,\delta) $-学習を達成する。
• ${\mathcal{A}}_2$ 用の ERM アルゴリズムは、コスト関数が変化する重要な α 値を同定し、パラメータ空間を分割し、各区間でパフォーマンスを評価することで、最適な経験的構成を保証する。
• 分析により、真のクラスタリングからの対称的距離ですら $ 2^N $ 回振動しうることを示し、現実的なコスト関数下でも高い擬似次元を証明する。
• 本研究の結果は、組合せ最適化におけるアルゴリズム構成の基礎的保証を確立し、学習理論を多段階最適化手順へと拡張する。