[論文レビュー] Agnostic insurability of model classes

Narayana Santhanam, Venkat Anantharam|arXiv (Cornell University)|Dec 17, 2012

Machine Learning and Algorithms参考文献 14被引用数 4

ひとこと要約

本稿は、自然数上の確率分布のクラスが「保険可能である」——つまり、i.i.d. 観測に基づき、無限時間にわたり高い信頼性で無限大の損失に対して有限の上界を予測できる——かどうかを定式化するための形式的枠組みを提示する。これは、分布の ℓ₁ 位相に基づく必要十分条件を確立し、分布空間における近傍構造を用いて保険可能性を特徴づける。

ABSTRACT

Motivated by problems in insurance, our task is to predict finite upper bounds on a future draw from an unknown distribution $p$ over the set of natural numbers. We can only use past observations generated independently and identically distributed according to $p$. While $p$ is unknown, it is known to belong to a given collection ${\cal P}$ of probability distributions on the natural numbers. The support of the distributions $p \in {\cal P}$ may be unbounded, and the prediction game goes on for \emph{infinitely} many draws. We are allowed to make observations without predicting upper bounds for some time. But we must, with probability 1, start and then continue to predict upper bounds after a finite time irrespective of which $p \in {\cal P}$ governs the data. If it is possible, without knowledge of $p$ and for any prescribed confidence however close to 1, to come up with a sequence of upper bounds that is never violated over an infinite time window with confidence at least as big as prescribed, we say the model class ${\cal P}$ is \emph{insurable}. We completely characterize the insurability of any class ${\cal P}$ of distributions over natural numbers by means of a condition on how the neighborhoods of distributions in ${\cal P}$ should be, one that is both necessary and sufficient.

研究の動機と目的

• 真の損失分布が未知であるが、既知のクラスに属することを前提とした、無限大の損失に対する保険の問題を形式化すること。
• i.i.d. 観測のみを用いて、将来の損失に対して任意の高い信頼性で有限の上界を予測できる条件を同定すること。
• 既知のパラメトリックモデルや損失の上限が存在しない非パrametricなアプローチを用いた、普遍的な保険の枠組みを構築すること。
• このような信頼性のある予測が可能な「保険可能」とされるモデルクラスの集合を、分布空間における ℓ₁ 空間の位相的条件を用いて特徴づけること。
• 保険理論と普遍的予測・圧縮理論を結びつけるために、保険可能性の正確な数学的基準を同定すること。

提案手法

• フレームワークは、未知の分布 p から i.i.d. に損失が抽出される状況を想定し、p が自然数 ℕ 上の分布のクラス P に属することを前提とする。
• 本稿では、任意の信頼水準 α < 1 に対して、無限時間にわたり予測された上界を常に超えない予測戦略が存在する場合、モデルクラス P を「保険可能」と定義する。
• 保険可能性の必要十分条件として、分布の近傍における ℓ₁ 距離とカルバック・ライブラー発散に基づく位相的条件を導入する。
• 証明は、経験的分布の集中不等式および真の分布と経験的分布の間の ℓ₁ 距離の境界に依存しており、特に Weissman 他 (2005) の結果と Ho と Yeung (2010) の拡張を用いる。
• 主な技術的ツールとして、分布の差を測る J-発散（J(p,q) = ∑|p(i) - q(i)|² / (p(i) + q(i))) を用い、これと ℓ₁ 距離の関係を考察する。
• 分布の有限サポートへの切断を用い、経験的分布が真の分布と ℓ₁ で近く、かつ真の分布が近傍でよく近似できる場合、予測戦略は高い確率で成功することを示す。

実験結果

リサーチクエスチョン

• RQ1 真の分布が未知である状況で、i.i.d. 観測のみを用いて、無限大の損失に対して信頼性高く有限の上界を予測できる条件は何か？
• RQ2 自然数 ℕ 上の分布のクラスにどのような位相的性質が、無限時間にわたり高い信頼性で上界を保証する普遍的予測戦略の存在に必要な十分条件となるか？
• RQ3 損失が有界でないか、パラメトリックモデルが前提とされない状況でも、保険問題を普遍的に解けるか？ もしそうなら、その可能性を可能にする数学的構造は何か？
• RQ4 可算集合上の確率分布の ℓ₁ 位相は、保険における普遍的損失予測の実現可能性とどのように関係するか？
• RQ5 モデルクラス内の分布の近傍構造と、保険可能性の達成可能性との間の正確な関係は何か？

主な発見

• 自然数 ℕ 上の分布クラス P が保険可能であるための必要十分条件は、任意の p ∈ P に対して、ℓ₁ 位相におけるある近傍が存在し、その近傍内のすべての分布が P に属し、特定のエントロピーに基づく条件を満たすことである。
• 本稿では、保険可能性が、各 p ∈ P に対して ℓ₁ 位相における一様近傍の存在を含む条件と同値であることを確立している。この条件により、経験的分布が十分に速く収束し、信頼性の高い予測が可能になる。
• 任意の ε₀ > 0 に対して、p₀ と q の ℓ₁ 距離が ε₀²(ln 2)²/16 未満であれば、すべての p ∈ P に対して J(p, p₀) ≥ ε₀ ならば、J-発散 J(p,q) は下から ε₀² ln 2 / 16 で抑えられる。
• 本稿では、p から得られる n 個の i.i.d. サンプルの経験的分布 q が |q - p|₁ > δ かつ 2F_q⁻¹(1 - δ/6) ≤ k を満たす確率が、(2ᵏ - 2)exp(−nδ²/18) で抑えられることを証明している。この確率は p に依存せず、P 全体にわたって一様に成り立つ。
• この一様な境界により、P 全体に適用可能な普遍的予測戦略の構築が可能である。
• 主な結果として、保険可能性は、ℓ₁ 空間における P の近傍構造に関する位相的条件によって特徴づけられ、これが普遍的かつ高信頼性の上界予測戦略の存在に必要な十分条件であることが示された。