[論文レビュー] Majorizing Measures for the Optimizer

Sander Borst, Daniel Dadush+2 more|arXiv (Cornell University)|Dec 24, 2020

Advanced Optimization Algorithms Research参考文献 22被引用数 1

ひとこと要約

本稿では、最適化に基づくフレームワークを提案し、最適なメジャライジング測度の計算を凸計画問題として再定式化する。Talagrandのメジャライジング測度定理に対して、凸双対性とラウンディング技術を活用して、タイトな上界と下界を導出するアルゴリズム的証明を提供し、従来の組合せ的手法（例：一般化チェイン）に代わる構成的で効率的かつ概念的に明確な代替手法を提示する。

ABSTRACT

The theory of majorizing measures, extensively developed by Fernique, Talagrand and many others, provides one of the most general frameworks for controlling the behavior of stochastic processes. In particular, it can be applied to derive quantitative bounds on the expected suprema and the degree of continuity of sample paths for many processes. One of the crowning achievements of the theory is Talagrand’s tight alternative characterization of the suprema of Gaussian processes in terms of majorizing measures. The proof of this theorem was difficult, and thus considerable effort was put into the task of developing both shorter and easier to understand proofs. A major reason for this difficulty was considered to be theory of majorizing measures itself, which had the reputation of being opaque and mysterious. As a consequence, most recent treatments of the theory (including by Talagrand himself) have eschewed the use of majorizing measures in favor of a purely combinatorial approach (the generic chaining) where objects based on sequences of partitions provide roughly matching upper and lower bounds on the desired expected supremum. In this paper, we return to majorizing measures as a primary object of study, and give a viewpoint that we think is natural and clarifying from an optimization perspective. As our main contribution, we give an algorithmic proof of the majorizing measures theorem based on two parts: - We make the simple (but apparently new) observation that finding the best majorizing measure can be cast as a convex program. This also allows for efficiently computing the measure using off-the-shelf methods from convex optimization. - We obtain tree-based upper and lower bound certificates by rounding, in a series of steps, the primal and dual solutions to this convex program. While duality has conceptually been part of the theory since its beginnings, as far as we are aware no explicit link to convex optimization has been previously made.

研究の動機と目的

• 最適化に基づくフレームワークを用いてメジャライジング測度の理論を再定式化し、より明確で体系的な基礎を提供すること。
• 凸計画問題のプライマル・デュアル解を用いて、Talagrandのメジャライジング測度定理のアルゴリズム的証明を提供すること。
• 既存の凸最適化ソルバーを用いて、最適なメジャライジング測度を効率的に計算可能にする。
• プライマルおよびデュアル解のラウンディングにより、タイトな上界・下界の証明を導出し、これまでの直感的で不恰好な組合せ的構成を置き換えること。

提案手法

• インデックス集合 X 上の確率測度上の関数の最小化を目的関数とする凸計画問題として、最適なメジャライジング測度の計算問題を定式化する。
• 凸双対性を用いて、ガウス過程の期待上界に対する下界を導くデュアル解を導出する。
• 階層的木構造によるラウンディング手順を通し、凸計画問題のプライマル解から上界証明を構築する。
• デュアル解に対してラウンディングスキームを適用し、インデックス集合の距離構造と整合性を持つ下界証明を生成する。
• Dadush, Guzman, and Olverが提唱した悲観的推定器フレームワークを活用し、Johnson-Lindenstrauss型の射影を決定的化する。
• 適切なネットとメジャライジング測度の間の関係を確立し、凸最適化を用いたチェインに類似した構造の決定的構築を可能にする。

実験結果

リサーチクエスチョン

• RQ1 最適なメジャライジング測度の計算を凸最適化問題として定式化できるか？
• RQ2 凸双対性およびラウンディング技術を用いて、ガウス過程の期待上界に対する構成的上界・下界を導出できるか？
• RQ3 古典的な一般化チェイン法と比較して、この凸最適化フレームワークは計算効率および明確さにおいてどのように優れるか？
• RQ4 このフレームワークを用いて、Gordonの定理に含まれるような既存の確率的構成を決定的化できるか？
• RQ5 このアプローチを用いてメジャライジング測度および関連する境界証明を構築する際の計算複雑度はいかほどか？

主な発見

• 最適なメジャライジング測度は、凸計画問題を解くことで効率的に計算可能であり、標準的な最適化ツールを用いて実用的な計算が可能である。
• 凸計画問題のプライマル解は、木構造に基づくラウンディング手順を通じて上界証明をもたらす。
• デュアル解は類似のラウンディングメカニズムを通じて下界証明を提供し、タイトさを保証する。
• このフレームワークは、メジャライジング測度と凸最適化の間の明確で直接的な関係を確立し、理論における長年の概念的曇りを解消する。
• この方法により、Gordonの定理を満たす射影の決定的構築が可能となり、確率的構成よりも改善される。
• 近似的に最適な近似品質と計算効率のトレードオフが達成されており、実用的にはほぼ線形時間のアルゴリズムが可能となる可能性を有する。