[論文レビュー] An explicit analysis of the entropic penalty in linear programming

Jonathan Weed|arXiv (Cornell University)|Jun 5, 2018

Advanced Optimization Algorithms Research参考文献 37被引用数 11

ひとこと要約

本稿は、線形計画法におけるエントロピー正則化の罰則項について、非漸近的かつ明示的な解析を提供し、罰則付き解が真の最適解に指数関数的に収束することを示し、明確な定数を伴う。これは、最適輸送や最適化分野における、長年の理論的ギャップを解消するものであり、計算効率と近似精度のトレードオフを明確に定量化するシンプルで構成的な証明を提示する。

ABSTRACT

Solving linear programs by using entropic penalization has recently attracted new interest in the optimization community, since this strategy forms the basis for the fastest-known algorithms for the optimal transport problem, with many applications in modern large-scale machine learning. Crucial to these applications has been an analysis of how quickly solutions to the penalized program approach true optima to the original linear program. More than 20 years ago, Cominetti and San Martín showed that this convergence is exponentially fast; however, their proof is asymptotic and does not give any indication of how accurately the entropic program approximates the original program for any particular choice of the penalization parameter. We close this long-standing gap in the literature regarding entropic penalization by giving a new proof of the exponential convergence, valid for any linear program. Our proof is non-asymptotic, yields explicit constants, and has the virtue of being extremely simple. We provide matching lower bounds and show that the entropic approach does not lead to a near-linear time approximation scheme for the linear assignment problem.

研究の動機と目的

• 線形計画法の真の最適解にエントロピー正則化がどの程度の速さで近づくかを理解するという、長年のギャップを埋めること。
• エントロピー罰則法の指数的収束について、非漸近的証明を提示し、明確な定数を得ること。
• 実用的応用例（例：最適輸送）における罰則パラメータ η と近似精度のトレードオフを明確にすること。
• 線形割り当て問題に対する近似線形時間スキームが得られないことの下界を確立すること。

提案手法

• エントロピーに基づく双対性と凸性の議論を用いて、罰則付き線形計画問題と元の問題との間の双対ギャップに対する非漸近的バウンドを導出する。
• シャノンエントロピー関数の強い凸性に基づく変分的議論を用い、罰則付き解と真の最適解との乖離を制御する。
• 指数関数を含む双対問題に変換することで、収束速度の明示的推定を可能にする。
• 漸近的近似を避ける構成的証明技法を用い、エントロピーと確率ベクトルに関する明示的不等式に依存する。
• 特定の線形計画問題の族を構成することで、収束速度が η に関して指数的に遅れることが示される下界を確立する。
• バーキホフ多面体のケースを分析し、線形割り当て問題に対してエントロピー法が近似線形時間スキームを提供しないことを示す。

実験結果

リサーチクエスチョン

• RQ1 罰則パラメータ η が増加するにつれて、エントロピー正則化線形計画問題の解が真の最適解にどの程度の速さで収束するか。
• RQ2 CominettiとSan Martín（1994）の漸近的収束結果を、計算可能な定数を伴う非漸近的かつ明示的なものにできるか。
• RQ3 元の線形計画問題に対して所定の近似精度を達成するための最小の η の値は何か。
• RQ4 エントロピー正則化アプローチは、線形割り当て問題に対して近似線形時間スキームを実現できるか。
• RQ5 理論的境界とは対照的に、実世界の最適輸送データでは小さな η が良好な性能を示すのはなぜか。

主な発見

• 本稿は、線形計画法におけるエントロピー罰則法について、非漸近的かつ明示的な指数的収束速度を確立し、ある明確な c > 0 に対して exp(−cη) の形の収束率を得た。
• 収束速度は、罰則パラメータ η とともに指数的に減少する双対ギャップのバウンドとして定量化され、問題の構造から導かれた明確な定数を伴う。
• 一致する下界が証明された：任意の η に対して、双対ギャップが少なくとも exp(−Cη)（C > 0）に達するような線形計画問題が存在し、収束速度がタイトであることが示された。
• エントロピー法は、線形割り当て問題に対して近似線形時間スキームを提供しない。なぜなら、必要な η が問題サイズとともに増加するからである。
• 本稿の解析により、CominettiとSan Martínの漸近的結果を完全に定量的かつ構成的に行うという、長年の理論的ギャップが解消された。
• 証明は、従来の研究よりも著しく簡潔であり、基本的な凸性およびエントロピー不等式のみに依存し、構造的仮定なしにすべての線形計画問題に適用可能である。