[論文レビュー] Universal Supervised Learning for Individual Data

Yaniv Fogel, Meir Feder|arXiv (Cornell University)|Dec 22, 2018

Domain Adaptation and Few-Shot Learning参考文献 2被引用数 7

ひとこと要約

本稿では、対数損失下における個別データ向けの普遍的教師あり学習フレームワークである予測正規化最大尤度（pNML）を提案する。このpNMLは、真のテストラベルを知っているジーニーとミニマックス的に最適に競争する。pNMLは、有限の訓練データにおける汎化性能とロバストネスにおいて、経験的リスク最小化（ERM）を上回り、特定のテストインスタンスの学習可能性を点ごとの指標として提供する。

ABSTRACT

Universal supervised learning is considered from an information theoretic point of view following the universal prediction approach, see Merhav and Feder (1998). We consider the standard supervised "batch" learning where prediction is done on a test sample once the entire training data is observed, and the individual setting where the features and labels, both in the training and test, are specific individual quantities. The information theoretic approach naturally uses the self-information loss or log-loss. Our results provide universal learning schemes that compete with a "genie" (or reference) that knows the true test label. In particular, it is demonstrated that the main proposed scheme, termed Predictive Normalized Maximum Likelihood (pNML), is a robust learning solution that outperforms the current leading approach based on Empirical Risk Minimization (ERM). Furthermore, the pNML construction provides a pointwise indication for the learnability of the specific test challenge with the given training examples

研究の動機と目的

• データ生成に関する確率的仮定に依存しない、個別データにおける普遍的学習フレームワークの構築を目的とする。
• 深層ニューラルネットワークのような現代のモデルの一般化行動を説明できない、従来の手法（ERM や PAC 学習）の限界を克服することを目的とする。
• 対数損失下での最適ジーニー基準に対するレジーットを最小化することで、ERMに対するロバストで情報理論的基盤に立つ代替手法を提供することを目的とする。
• pNMLのレジーットに基づいて、個々のテストサンプルの学習可能性の点ごとの指標を導入することを目的とする。
• 特に訓練サイズNの増大に伴い、pNMLのレジーットが小さくなる条件、特にモデルクラスの構造と関連して考察することを目的とする。

提案手法

• 個別設定における普遍的教師あり学習のミニマックス最適解として、予測正規化最大尤度（pNML）を提案する。
• 評価基準として対数損失（自己情報損失）を用い、洗練された情報理論的定式化を可能にする。
• pNMLラーナーを、真のラベルを知っているジーニーと比較した際の、すべての可能なテストラベルに対する最大レジーットを最小化するものとして定義する。
• 交差検証に類似した条件下での性能評価を目的として、レジーット測度のleave-one-out変種を導出する。
• 1次元のしきい値モデル（区分的定数確率付き）といった単純なモデルクラスにpNMLフレームワークを適用する。
• 訓練サイズとテスト入力におけるレジーットの関数として評価するため、一様分布の特徴量と既知の真の仮説を用いたシミュレーションを実施する。

実験結果

リサーチクエスチョン

• RQ1 真のテストラベルを知っているジーニーと競争できる、個別データ向けの普遍的学習スキームをどのように構築できるか？
• RQ2 有限の訓練データにおいて、pNMLはERMと比べてどのようにロバストネスと一般化性能を向上させるか？
• RQ3 モデルクラスにどのような条件が満たされると、pNMLのレジーットが小さくなるのか、特に訓練サイズNの増大に伴ってどうなるか？
• RQ4 pNMLは、特定のテストインスタンスの学習可能性を点ごとの指標として提供できるか？
• RQ5 pNMLのレジーットが小さいことと、経験的リスク最小化器の一般化誤差との関係は何か？

主な発見

• pNMLは、有限サンプル設定において、レジーットの観点から常にERMを上回り、優れたロバストネスと一般化性能を示す。
• レジーットは、しきい値パラメータbの近傍領域で最大となり、ここでは訓練データのわずかな変化が最適モデルに顕著な影響を与える。この不確実性はNの増大に伴い縮小する。
• Nが大きい場合、bの近傍領域外のレジーットはO(1/N)の速度で減少し、安定性と収束性が向上することが示された。
• しきい値bが特徴空間の中心（例：0.5）から離れるにつれて、訓練例が少ない側のレジーットが増加する。これは、データサポートが不足するためである。
• pNMLフレームワークは、特定のテストインスタンスにおける予測の信頼性を示す点ごとの学習可能性指標を提供する。低レジーットは、そのテストインスタンスにおける予測の高い信頼性を示す。
• pNMLの2回目の普遍的拡張は、モデルクラス自体が未知の状況においても有望であることが示され、階層的またはネストされたモデル選択への応用可能性を示唆している。