[論文レビュー] Generalized minimizers of convex integral functionals, Bregman distance, Pythagorean identities

Imre Csiszár, František Matúš|arXiv (Cornell University)|Feb 3, 2012

Advanced Optimization Algorithms Research参考文献 49被引用数 15

ひとこと要約

この論文は、原始的制約条件を満たさない場合でさえも、モーメント制約下での凸積分汎関数の最小化に一般化された双対性枠組みを構築する。Bregman距離を用いて一般化された最小化子を定義し、滑らかでない被積分関数に対して補正項を含む一般化されたピタゴラスの定理を確立することで、最大エントロピーおよびBregman射影の原則を、より広いクラスの凸汎関数へと拡張する。

ABSTRACT

Integral functionals based on convex normal integrands are minimized subject to finitely many moment constraints. The integrands are finite on the positive and infinite on the negative numbers, strictly convex but not necessarily differentiable. The minimization is viewed as a primal problem and studied together with a dual one in the framework of convex duality. The effective domain of the value function is described by a conic core, a modification of the earlier concept of convex core. Minimizers and generalized minimizers are explicitly constructed from solutions of modified dual problems, not assuming the primal constraint qualification. A generalized Pythagorean identity is presented using Bregman distance and a correction term for lack of essential smoothness in integrands. Results are applied to minimization of Bregman distances. Existence of a generalized dual solution is established whenever the dual value is finite, assuming the dual constraint qualification. Examples of `irregular' situations are included, pointing to the limitations of generality of certain key results.

研究の動機と目的

• 標準的な制約条件を満たさない場合でも、モーメント制約下での凸積分汎関数の最小化に対する凸双対性理論を、標準的制約条件を超えて拡張すること。
• 滑らかでないか、制約条件が満たされないために古典的解が存在しない場合に、一般化された最小化子を定義し構築すること。
• 被積分関数が本質的に滑らかでない場合に、Bregman距離と補正項を用いた一般化されたピタゴラスの恒等式を確立すること。
• Bregman射影および最大エントロピーに基づく推論原理を、非自己同型または非微分可能な被積分関数を含む場合に統一的かつ一般化すること。
• 一般化された双対解の存在条件を提示し、値関数の有効定義域を「錐コア」という概念を用いて特徴付けること。

提案手法

• 被積分関数 $\beta$ が $t > 0$ のみで有限である正規凸被積分関数として、$\mathsfsl H_{\beta}(g) = \int_Z \beta(z,g(z)) \, \mu(\mathrm{d}z)$ を $g \in \mathcal{G}_a^+$ で最小化する原始問題を定式化する。
• 凸共役を用いて双対問題を定義し、双対値関数 $\mathsfsl J(\vartheta) = \sup_g \left[ \int_Z \varphi g \, \mathrm{d}\mu - \mathsfsl H_{\beta}(g) \right]$ を導出し、その二重共役を分析する。
• 値関数の有効定義域を記述するための凸コアの改良版としての錐コアを定義し、原始的制約条件を仮定しないで記述可能にする。
• 原始的制約条件（pcq）を必要としないように、変更された双対問題の解から一般化された最小化子を構築する。
• 一般化されたピタゴラスの恒等式を導出：$\mathsfsl H_{\beta}(g) - \mathsfsl H_{\beta}(g^*) = \mathsf{B}_{\beta}(g^*, g) + \text{補正項}$、ここで補正項は $\beta$ の本質的滑らかさの欠如に起因する。
• Bregman距離および $\gamma$-divergence にこの枠組みを適用し、測度および被積分関数の変換により、自己同型積分最小化と同等であることを示す。

実験結果

リサーチクエスチョン

• RQ1 被積分関数が滑らかでない、または原始的制約条件が満たされない場合に、一般化された最小化子はどのように構築できるか？
• RQ2 値関数の有効定義域を特徴付ける際、錐コアの役割は何か？
• RQ3 被積分関数が本質的に滑らかでない場合に、Bregman距離に対して一般化されたピタゴラスの恒等式を確立できるか？
• RQ4 Bregman射影および $\gamma$-divergence は、モーメント制約下での凸積分最小化とどのように関係するか？
• RQ5 一般化された双対解が存在する条件は何か？また、双対値の有限性とはどのように関係するか？

主な発見

• 値関数の有効定義域は、凸コアの改良版たる錐コアによって完全に特徴付けられる。これにより、原始的制約条件を仮定しないで、可能なモーメントベクトル $a$ を正確に記述可能である。
• 一般化された最小化子は存在し、原始的制約条件を満たさない場合でも、変更された双対問題の解から明示的に構築可能である。
• 一般化されたピタゴラスの恒等式が確立された：$\mathsfsl H_{\beta}(g) - \mathsfsl H_{\beta}(g^*) = \mathsf{B}_{\beta}(g^*, g) + \delta(g^*, g)$、ここで $\delta$ は $\beta$ の本質的滑らかさの欠如に起因する補正項である。
• Bregman距離の場合、$\mathcal{G}_a^+$ 上での $\mathsfsl H_{\beta}$ の最小化はBregman射影に等しく、一般化された解枠組みにより、双対値が有限であればそのような射影の存在が保証される。
• この枠組みは $\gamma$-divergence に拡張可能である：$\mathcal{G}_a$ 上での $\mathsfsl D_{\gamma}(g,h)$ の最小化は、測度および被積分関数の変換により自己同型積分汎関数の最小化と同等である。
• 双対制約条件を満たす限り、双対値が有限であれば一般化された双対解の存在が保証され、滑らかでない、非自己同型の凸被積分関数に対しても、頑健な双対理論を提供する。