[論文レビュー] Learners that Use Little Information

Raef Bassily, Shay Moran+3 more|arXiv (Cornell University)|Oct 14, 2017

Machine Learning and Algorithms被引用数 45

ひとこと要約

本稿では、入力データに関して最大dビットの情報を露呈する学習アルゴリズム、すなわちdビット情報学習者を導入し、そのようなアルゴリズムが一般化性能を良好に保つことを確立している。一般化誤差は相互情報量I(A(S);S)によって上限が与えられ、主な貢献は、一般化誤差がO(I(A(S);S)/(mε²))の割合で減少することを示したタイトなサンプル複雑度の上限を与えることである。また、情報漏洩を最小限に抑えた学習者が、微分プライバシーが失敗する状況でさえも最適なPAC学習を達成できることを示している。

ABSTRACT

We study learning algorithms that are restricted to using a small amount of information from their input sample. We introduce a category of learning algorithms we term $d$-bit information learners, which are algorithms whose output conveys at most $d$ bits of information of their input. A central theme in this work is that such algorithms generalize. We focus on the learning capacity of these algorithms, and prove sample complexity bounds with tight dependencies on the confidence and error parameters. We also observe connections with well studied notions such as sample compression schemes, Occam's razor, PAC-Bayes and differential privacy. We discuss an approach that allows us to prove upper bounds on the amount of information that algorithms reveal about their inputs, and also provide a lower bound by showing a simple concept class for which every (possibly randomized) empirical risk minimizer must reveal a lot of information. On the other hand, we show that in the distribution-dependent setting every VC class has empirical risk minimizers that do not reveal a lot of information.

研究の動機と目的

• 訓練データから使用する情報が少ない学習アルゴリズムが一般化性能を良好に保つという直感を形式化すること。
• 入力に関して最大dビットの情報を露呈することを制約された学習アルゴリズムのサンプル複雑度を分析すること。
• 低情報学習、サンプル圧縮、オッカムの剃刀、PAC-Bayes、微分プライバシーの間の関係を確立すること。
• 分布依存設定において、任意のVCクラスがO(d log m)ビットの情報漏洩で学習可能であることを示すこと。
• 微分プライバシーと有界相互情報量の間の分離を示し、有界情報学習者が微分プライバシーのものよりも効率的である可能性を示すこと。

提案手法

• 入力サンプルSと出力A(S)の間の相互情報量が最大dであるような学習アルゴリズムとしてdビット情報学習者を定義する。
• 四つの異なる証明技法を用いて一般化誤差の境界を示す：P(|true error - empirical error| > ε) = O(I(A(S);S)/(mε²))。各技法は異なる視点を強調する。
• 訓練サンプル内で一貫した仮説を一様ランダムに選ぶ一般化されたERM学習者を提示し、一部の状況で情報量を最小化できることを示す。
• 閾値概念クラスに対して、任意の適切なERMがΩ(log log N / m²)ビットの情報を露呈しなければならないことを示す下界を構築する。
• データ分布D_Xを事前に知っている分布依存設定を導入し、O(d log m)ビットの情報漏洩で動作する決定的かつ一貫性のある学習者を設計する。
• ε_k-ネットとネット上の階層的探索を用いて出力のエントロピーを制限し、高い確率で終了し、かつ低い情報量を確保する。

実験結果

リサーチクエスチョン

• RQ1 入力データからわずかな情報しか使用しない学習アルゴリズムは、一般化性能を良好に保てるか？
• RQ2 有界な相互情報量I(A(S);S)を持つ学習アルゴリズムに対して、最もタイトなサンプル複雑度の上限は何か？
• RQ3 単純な設定下でも、すべての適切で一貫性のあるERMが大きな情報を露呈しなければならないような概念クラスは存在するか？
• RQ4 データ分布が事前に分かっている分布依存設定において、低情報学習は達成可能か？
• RQ5 サンプル複雑度と情報漏洩の観点から、微分プライバシーと有界相互情報量の間に分離は存在するか？

主な発見

• dビット情報学習者の一般化誤差はO(I(A(S);S)/(mε²))で上限が与えられ、情報使用量と一般化性能の間のタイトな関係を確立した。
• 誤差εと信頼度δを達成するためのサンプル複雑度はΩ(I(A(S);S)/(ε²δ)）であり、この境界はタイトである。これは、非ゼロの誤差確率Ω(1/m)を持つO(1)ビット情報学習者の構築によって示された。
• サイズNのドメインにおける閾値概念クラスに対して、すべての適切なERMはΩ(log log N / m²)ビットの情報を露呈しなければならず、これは単純な設定でも固有の情報コストが存在することを示している。
• 分布依存設定において、次元dの任意のVCクラスは、O(d log m)ビットの情報漏洩で、決定的かつ一貫性のあるアルゴリズムによって学習可能であり、ドメインサイズNに依存しない。
• 純粋な微分プライバシーと有界相互情報量の間で分離が示された：点関数のクラスは、適切なERMを用いればたった2ビットの情報漏洩で学習可能であるが、純粋な微分プライバシーを持つアルゴリズムはNに比例して増加するサンプル複雑度を要する。
• 一様ランダムな一貫仮説を出力する一般化されたERMは一部の状況で低い情報を達成できるが、他の状況では非効率であることが判明し、特化した低情報学習者の必要性を強調している。