[论文解读] Generalized minimizers of convex integral functionals, Bregman distance, Pythagorean identities

Imre Csiszár, František Matúš|arXiv (Cornell University)|Feb 3, 2012

Advanced Optimization Algorithms Research参考文献 49被引用 15

一句话总结

本文提出了一种广义对偶框架，用于在不满足原始约束资格条件的情况下，最小化凸积分泛函的矩约束问题。通过Bregman距离引入广义极小化子，并为非光滑被积函数建立包含修正项的广义勾股定理，将最大熵原理和Bregman投影原理推广至更广泛的凸泛函类别。

ABSTRACT

Integral functionals based on convex normal integrands are minimized subject to finitely many moment constraints. The integrands are finite on the positive and infinite on the negative numbers, strictly convex but not necessarily differentiable. The minimization is viewed as a primal problem and studied together with a dual one in the framework of convex duality. The effective domain of the value function is described by a conic core, a modification of the earlier concept of convex core. Minimizers and generalized minimizers are explicitly constructed from solutions of modified dual problems, not assuming the primal constraint qualification. A generalized Pythagorean identity is presented using Bregman distance and a correction term for lack of essential smoothness in integrands. Results are applied to minimization of Bregman distances. Existence of a generalized dual solution is established whenever the dual value is finite, assuming the dual constraint qualification. Examples of `irregular' situations are included, pointing to the limitations of generality of certain key results.

研究动机与目标

• 将凸对偶理论从标准约束资格条件的限制下，推广至在矩约束下最小化凸积分泛函的情形。
• 当原始问题因非光滑性或缺乏约束资格条件而不存在经典解时，定义并构造广义极小化子。
• 针对非本质光滑的被积函数，利用Bregman距离与修正项，建立广义勾股恒等式。
• 统一并推广基于Bregman投影与最大熵的推断原理，尤其适用于非自治或不可微的被积函数情形。
• 提供广义对偶解的存在性条件，并利用“锥核”概念刻画值函数的有效定义域。

提出的方法

• 将原始问题形式化为在 $ g \in \mathcal{G}_a^+ $ 上最小化凸积分泛函 $\mathsfsl H_{\beta}(g) = \int_Z \beta(z,g(z)) \, \mu(\mathrm{d}z)$，其中 $\beta$ 是仅在 $t > 0$ 时有限的正规凸被积函数。
• 通过共轭函数构造对偶问题，定义对偶值函数 $\mathsfsl J(\vartheta) = \sup_g \left[ \int_Z \varphi g \, \mathrm{d}\mu - \mathsfsl H_{\beta}(g) \right] $，并分析其双共轭性质。
• 将锥核定义为凸核的改进形式，用于描述值函数的有效定义域，从而在不假设原始约束资格条件的前提下实现精确刻画。
• 通过求解修正后的对偶问题，构造广义极小化子，从而绕过对原始约束资格条件的依赖。
• 推导广义勾股恒等式：$\mathsfsl H_{\beta}(g) - \mathsfsl H_{\beta}(g^*) = \mathsf{B}_{\beta}(g^*, g) + \text{修正项}$，其中修正项用于反映被积函数 $\beta$ 缺乏本质光滑性的影响。
• 将该框架应用于Bregman距离与 $\gamma$-散度，证明通过测度与被积函数变换，其最小化问题可等价转化为自治积分泛函的最小化问题。

实验结果

研究问题

• RQ1 当原始问题因非光滑性或原始约束资格条件不成立而缺乏经典解时，如何构造广义极小化子？
• RQ2 锥核在刻画凸积分最小化问题中值函数有效定义域方面起什么作用？
• RQ3 当被积函数非本质光滑时，能否为Bregman距离建立广义勾股恒等式？
• RQ4 Bregman投影与 $\gamma$-散度如何与矩约束下的凸积分最小化相联系？
• RQ5 在何种条件下广义对偶解存在，且其与对偶值有限性有何关联？

主要发现

• 值函数的有效定义域完全由锥核刻画，锥核是凸核的改进形式，使得在不假设原始约束资格条件的前提下，能够精确描述可行的矩向量 $a$。
• 广义极小化子存在，并可从修正对偶问题的解中显式构造，即使原始问题不满足标准约束资格条件。
• 建立了广义勾股恒等式：$\mathsfsl H_{\beta}(g) - \mathsfsl H_{\beta}(g^*) = \mathsf{B}_{\beta}(g^*, g) + \delta(g^*, g)$，其中 $\delta$ 为由于 $\beta$ 缺乏本质光滑性而产生的修正项。
• 对于Bregman距离，$\mathsfsl H_{\beta}$ 在 $\mathcal{G}_a^+$ 上的最小化等价于Bregman投影，且广义解框架确保在对偶值有限时此类投影的存在性。
• 该框架可推广至 $\gamma$-散度：在 $\mathcal{G}_a$ 上最小化 $\mathsfsl D_{\gamma}(g,h)$ 等价于通过测度与被积函数变换，转化为最小化一个自治积分泛函。
• 只要对偶值有限且满足对偶约束资格条件，广义对偶解即存在，从而为非光滑、非自治的凸被积函数提供了稳健的对偶理论。