[论文解读] Minimization of divergences on sets of signed measures

Michel Broniatowski, Amor Keziou|arXiv (Cornell University)|Mar 29, 2010

Risk and Portfolio Optimization参考文献 32被引用 49

一句话总结

本文建立了在参考概率测度 P 与符号有限测度子集之间最小化 φ-散度的存在性与表征条件，特别是在线性矩约束下。通过弱拓扑和 Fenchel 对偶性证明了 φ-投影的存在性，并提供了对偶解存在性与唯一性的充分条件，将最大熵与经验似然框架扩展至一般散度下的符号测度。

ABSTRACT

We consider the minimization problem of $ϕ$-divergences between a given probability measure $P$ and subsets $Ω$ of the vector space $\mathcal{M}_\mathcal{F}$ of all signed finite measures which integrate a given class $\mathcal{F}$ of bounded or unbounded measurable functions. The vector space $\mathcal{M}_\mathcal{F}$ is endowed with the weak topology induced by the class $\mathcal{F}\cup \mathcal{B}_b$ where $\mathcal{B}_b$ is the class of all bounded measurable functions. We treat the problems of existence and characterization of the $ϕ$-projections of $P$ on $Ω$. We consider also the dual equality and the dual attainment problems when $Ω$ is defined by linear constraints.

研究动机与目标

• 在弱拓扑下，建立概率测度 P 到符号有限测度闭凸集的 φ-投影的存在性与表征。
• 将最小散度估计理论扩展至符号测度，包括最小化测度可能不是概率测度的情形。
• 为线性矩约束下 φ-散度最小化中的对偶解存在性与对偶问题可达性提供充分条件。
• 在统一的 φ-散度框架下，整合并推广最大熵、经验似然与矩问题方法。
• 利用 Fenchel 对偶性与凸函数 φ 的逆导数映射，表征最小化测度的结构。

提出的方法

• 利用有界可测函数类与给定函数类 F 所诱导的弱拓扑，定义符号测度空间中的收敛性。
• 应用 Fenchel 对偶性，将原始的 φ-散度最小化问题转化为拉格朗日乘子上的对偶优化问题。
• 采用符号测度的 Lebesgue 分解，通过 Radon-Nikodym 导数与奇异部分，为非绝对连续测度定义 φ-散度。
• 通过对散度生成函数 φ 的共轭函数 φ* 取上确界，推导出对偶问题，得到对偶目标：sup_λ {λ₀ − ∫φ*(λᵀg(x)) dP(x)}。
• 在正则性条件下，利用 φ 的导数的逆函数 φ′⁻¹，通过 dQ*/dP = φ′⁻¹(λᵀg(x)) 构造最小化测度 Q*。
• 应用凸分析中的定理（如定理 2.5–2.7），在约束集的拓扑与凸性假设下，确保最小化测度的存在性。

实验结果

研究问题

• RQ1 在何种条件下，概率测度 P 到符号测度闭凸集的 φ-投影存在？
• RQ2 φ-散度最小化问题的对偶问题在何时可达？对偶解在何时唯一？
• RQ3 当约束在矩空间中为线性时，如何显式表征 φ-散度的最小化测度？
• RQ4 在何种条件下，φ-投影与参考测度 P 具有相同的支集？
• RQ5 在何种情况下对偶等式成立？对偶最优解在何时可达？

主要发现

• 若集合为闭集且散度在该集合上有限，则在弱拓扑下，P 到符号测度闭凸集的 φ-投影存在。
• 当 φ 严格凸且可微时，最小化测度 Q* 唯一地由 dQ*/dP = φ′⁻¹(λ̄ᵀg(x)) 表征，其中 λ̄ 为某个对偶乘子。
• 若存在对偶解 λ̄ 位于共轭函数 φ* 的定义域内部，则对偶可达，确保对偶目标有限。
• 在 φ(0) = ∞ 且 lim|x|→∞ φ(x)/|x| = ∞ 等条件下，对偶等式 inf_Q∈M_g φ(Q,P) = sup_λ {λ₀ − ∫φ*(λᵀg(x)) dP(x)} 成立。
• 对偶可达的充分条件包括：(i) φ(0) = ∞，(ii) φ 在无穷远处增长快于线性，(iii) 约束函数 g_i 有界或属于 L_k（共轭指数 k）。
• 若 φ 本质上光滑且严格凸，则对偶最优解 λ̄ 唯一，从而保证 φ-投影的唯一性。