[論文レビュー] Compression, Generalization and Learning

Marco C. Campi, Simone Garatti|arXiv (Cornell University)|Jan 30, 2023

Machine Learning and Algorithms被引用数 5

ひとこと要約

本稿は、圧縮集合のサイズと圧縮における変化の確率を結びつける画期的な理論的枠組みを確立し、分布に関する仮定なしに有限標本の誤分類リスクの境界を提示する。集合の基数が変化の確率を一貫して推定できることを示しており、好みの条件を用いることで、アーギョスな境界を厳密に得ることができる。

ABSTRACT

A compression function is a map that slims down an observational set into a subset of reduced size, while preserving its informational content. In multiple applications, the condition that one new observation makes the compressed set change is interpreted that this observation brings in extra information and, in learning theory, this corresponds to misclassification, or misprediction. In this paper, we lay the foundations of a new theory that allows one to keep control on the probability of change of compression (which maps into the statistical "risk" in learning applications). Under suitable conditions, the cardinality of the compressed set is shown to be a consistent estimator of the probability of change of compression (without any upper limit on the size of the compressed set); moreover, unprecedentedly tight finite-sample bounds to evaluate the probability of change of compression are obtained under a generally applicable condition of preference. All results are usable in a fully agnostic setup, i.e., without requiring any a priori knowledge on the probability distribution of the observations. Not only these results offer a valid support to develop trust in observation-driven methodologies, they also play a fundamental role in learning techniques as a tool for hyper-parameter tuning.

研究の動機と目的

• データ分布に関する事前知識なしに、圧縮関数における変化の確率を制御する理論を開発すること。
• 上限がない集合サイズであっても、圧縮集合の基数が変化の確率の一致推定量として一貫して機能することを確立すること。
• 一般的な好みの条件を用いて、誤分類リスクの前例のないほどきつい有限標本境界を導出すること。
• 教師ありおよび教師なし学習、さらにはその他の分野においても、完全にアーギョスな方法で圧縮理論を応用可能にする。
• 厳密な統計的制御を通じて、観察に基づく手法やハイパーパramータチューニングへの信頼を支援すること。

提案手法

• 観測集合を情報的内容に保持するまま縮小された部分集合に写像する圧縮関数を導入する。
• 圧縮の変化確率を、新たな観測が圧縮集合を変更する確率として定義する。
• 分布に依存しない有限標本境界を導出するため、好みの条件を用いる。
• 多重集合と確率測度を用いた測度論的構成を用いて、圧縮集合の進化をモデル化する。
• 近似測度列を用いた極限的議論により、非減少関数と質量再分配を活用して、きつい境界を証明する。
• 集合の基数が、サイズに上限がない場合であっても、変化リスクを一貫して推定できることを確立する。

実験結果

リサーチクエスチョン

• RQ1 分布に関する仮定なしに、有限標本において圧縮関数の変化確率をどのように境界づけられるか。
• RQ2 圧縮集合のサイズは、圧縮における変化の確率の一致推定量として機能できるか。
• RQ3 どのような条件下で、圧縮を用いて誤分類リスクのきつい、アーギョスな有限標本境界を導出できるか。
• RQ4 好みの条件は、統計的学習理論における従来の手法と比較して、どのようによりきつい境界を実現するか。
• RQ5 提案された枠組みは、分布に関する仮定なしに、学習システムにおける信頼性とハイパーパramータチューニングをどのように支援できるか。

主な発見

• 集合の基数は、集合サイズに上限がない場合であっても、圧縮の変化確率の一致推定量として一貫して機能する。
• 一般的な好みの条件の下で、変化確率の有限標本境界が導出され、従来の手法よりもきつい保証を提供する。
• 境界はアーギョスであり、基礎となるデータ分布に関する事前知識を一切必要としないため、多様な学習設定に適用可能である。
• 本フレームワークにより、圧縮のみの分析を通じて、教師ありおよび教師なし学習の文脈におけるリスク評価が可能になる。
• 理論的結果により、圧縮サイズを統計的リスクの代理指標として用いることが可能となり、学習システムにおけるハイパーパramータチューニングを促進する。
• 証明技法では、制約を保持しつつ最適境界に収束する近似測度列を構築する。これにより、境界のきつさが保証される。