[论文解读] Agnostic insurability of model classes

Narayana Santhanam, Venkat Anantharam|arXiv (Cornell University)|Dec 17, 2012

Machine Learning and Algorithms参考文献 14被引用 4

一句话总结

本文提出一个形式化框架，用于确定自然数上某类概率分布何时是‘可保的’——即保险公司能够仅通过独立同分布（i.i.d.）观测，在无限时间范围内以高置信度可靠预测无界损失的有限上界。该框架基于分布的 ℓ₁ 拓扑，建立了必要且充分的条件，通过分布空间中的邻域结构刻画可保性。

ABSTRACT

Motivated by problems in insurance, our task is to predict finite upper bounds on a future draw from an unknown distribution $p$ over the set of natural numbers. We can only use past observations generated independently and identically distributed according to $p$. While $p$ is unknown, it is known to belong to a given collection ${\cal P}$ of probability distributions on the natural numbers. The support of the distributions $p \in {\cal P}$ may be unbounded, and the prediction game goes on for \emph{infinitely} many draws. We are allowed to make observations without predicting upper bounds for some time. But we must, with probability 1, start and then continue to predict upper bounds after a finite time irrespective of which $p \in {\cal P}$ governs the data. If it is possible, without knowledge of $p$ and for any prescribed confidence however close to 1, to come up with a sequence of upper bounds that is never violated over an infinite time window with confidence at least as big as prescribed, we say the model class ${\cal P}$ is \emph{insurable}. We completely characterize the insurability of any class ${\cal P}$ of distributions over natural numbers by means of a condition on how the neighborhoods of distributions in ${\cal P}$ should be, one that is both necessary and sufficient.

研究动机与目标

• 将未知真实损失分布但属于已知类别的无界损失保险问题形式化。
• 确定保险公司仅通过 i.i.d. 观测即可以任意高置信度预测未来损失有限上界的条件。
• 开发一种通用的非参数保险方法，无需已知参数模型或有界损失上限。
• 通过 ℓ₁ 分布空间中的拓扑条件，表征‘可保’模型类的集合——即此类可靠预测成为可能的类。
• 通过识别可保性的精确数学准则，弥合保险理论与通用预测及压缩之间的鸿沟。

提出的方法

• 该框架将保险公司的任务建模为：从未知分布 p 中独立同分布抽取损失，其中 p 属于 ℕ 上的分布类 P，目标是预测损失的有限上界。
• 本文将模型类 P 定义为‘可保’的，若对任意置信水平 α < 1，均存在一种预测策略，使得在无限时间范围内，以至少 α 的概率永不违反所预测的上界。
• 提出基于 ℓ₁ 距离与 Kullback-Leibler 散度的分布邻域拓扑条件，作为可保性的必要且充分条件。
• 证明依赖于经验分布的集中不等式，以及真实测度与经验测度之间 ℓ₁ 距离的界，特别运用了 Weissman 等人（2005）的结果及 Ho 与 Yeung（2010）的扩展。
• 关键技术工具包括使用 J-散度（J(p,q) = ∑|p(i) - q(i)|² / (p(i) + q(i))) 衡量分布差异，及其与 ℓ₁ 距离的关系。
• 分析通过将分布截断至有限支撑实现，证明若经验分布与真实分布的 ℓ₁ 距离足够近，且真实分布可在邻域内良好逼近，则预测策略以高概率成功。

实验结果

研究问题

• RQ1 在仅通过 i.i.d. 观测、未知真实分布的前提下，保险公司需满足何种条件才能可靠预测无界损失的有限上界？
• RQ2 ℕ 上分布类的何种拓扑性质是存在一种通用预测策略、并在无限时间内保证高置信度上界的关键？
• RQ3 是否可无需假设有界损失或参数模型，通用地解决保险问题？若可，其数学结构为何？
• RQ4 可数集上概率分布的 ℓ₁ 拓扑与保险中通用损失预测可行性的关系是什么？
• RQ5 模型类中分布的邻域结构与实现可保性可能性之间的精确关系为何？

主要发现

• 对于 ℕ 上的分布类 P，当且仅当对每个 p ∈ P，存在一个 ℓ₁ 拓扑下的邻域，使得该邻域内所有分布也属于 P，并满足特定基于熵的条件时，P 是可保的。
• 本文证明可保性等价于在 ℓ₁ 拓扑中，每个 p ∈ P 均存在一个统一邻域，确保经验分布足够快地收敛，从而支持可靠预测。
• 对任意 ε₀ > 0，若 p₀ 与 q 之间的 ℓ₁ 距离满足 ≤ ε₀²(ln 2)²/16，则对所有满足 J(p, p₀) ≥ ε₀ 的 p ∈ P，有 J(p, q) ≥ ε₀² ln 2 / 16。
• 本文证明：若从 p 独立同分布抽取 n 个样本的经验分布 q 满足 |q - p|₁ > δ 且 2F_q⁻¹(1 - δ/6) ≤ k，则该事件的概率上界为 (2ᵏ - 2)exp(−nδ²/18)，且该上界对所有 p ∈ P 一致成立。
• 该上界对所有 p ∈ P 一致成立，使得可构建一种适用于 P 中所有分布的通用预测策略。
• 关键结果为：可保性由 ℓ₁ 空间中 P 的邻域结构的拓扑条件表征，该条件对通用高置信度上界预测策略的存在性而言，既必要又充分。