[論文レビュー] Distribution-Independent Reliable Learning

Varun Kanade, Justin Thaler|arXiv (Cornell University)|Feb 20, 2014

Machine Learning and Algorithms参考文献 14被引用数 12

ひとこと要約

本稿では、分布に依存しない信頼性のあるアガンティック学習のための新規ツールとして片側多項式近似を導入し、強力な誤差保証のもとでマジョリティおよびマジョリティの論理和の効率的学習を可能にする。閾値次数と近似次数の中間的な複雑さを活用することで、完全に信頼性のある学習が標準的なアガンティック学習よりも厳密に簡単である可能性への最初の証拠を提供する。

ABSTRACT

We study several questions in the reliable agnostic learning framework of Kalai et al. (2009), which captures learning tasks in which one type of error is costlier than others. A positive reliable classifier is one that makes no false positive errors. The goal in the positive reliable agnostic framework is to output a hypothesis with the following properties: (i) its false positive error rate is at most $ε$, (ii) its false negative error rate is at most $ε$ more than that of the best positive reliable classifier from the class. A closely related notion is fully reliable agnostic learning, which considers partial classifiers that are allowed to predict "unknown" on some inputs. The best fully reliable partial classifier is one that makes no errors and minimizes the probability of predicting "unknown", and the goal in fully reliable learning is to output a hypothesis that is almost as good as the best fully reliable partial classifier from a class. For distribution-independent learning, the best known algorithms for PAC learning typically utilize polynomial threshold representations, while the state of the art agnostic learning algorithms use point-wise polynomial approximations. We show that one-sided polynomial approximations, an intermediate notion between polynomial threshold representations and point-wise polynomial approximations, suffice for learning in the reliable agnostic settings. We then show that majorities can be fully reliably learned and disjunctions of majorities can be positive reliably learned, through constructions of appropriate one-sided polynomial approximations. Our fully reliable algorithm for majorities provides the first evidence that fully reliable learning may be strictly easier than agnostic learning. Our algorithms also satisfy strong attribute-efficiency properties, and provide smooth tradeoffs between sample complexity and running time.

研究の動機と目的

• 分布に依存しない仮定の下で信頼性のあるアガンティック学習のための効率的アルゴリズムを開発すること。
• ある種の誤差（例：偽陽性）が他の誤差よりもコストが高いための学習タスクに対処すること。
• 片側近似次数という新しい複雑さの測度を用いて、効率的な信頼性のある学習が可能な概念クラスを同定すること。
• 完全に信頼性のある学習が、特定の概念クラスにおいて標準的なアガンティック学習よりも厳密に簡単である可能性を示すこと。

提案手法

• 閾値次数と近似次数の中間的な複雑さの測度として片側近似次数を導入すること。
• 非対称な誤差コストを扱うために、$ L_1 $ スタイルの回帰とハッジ損失に基づく学習アルゴリズムを設計すること。
• マジョリティおよびマジョリティの論理和に対する明示的な片側多項式近似を構築すること。
• 双対性と多項式近似理論を用いて、主要な概念クラスの片側近似次数に対する境界を証明すること。
• 片側近似の概念を応用し、標本複雑さ、実行時間、誤差保証の間のトレードオフを導出すること。
• 既知の閾値次数および近似次数の下界を活用し、特定のクラス（DNFやハーフスペースなど）におけるこのアプローチの限界を確立すること。

実験結果

リサーチクエスチョン

• RQ1 片側多項式近似は、従来のアガンティック学習手法よりも効率的な信頼性のある学習を可能にするか？
• RQ2 特定の概念クラスにおいて、完全に信頼性のある学習は標準的なアガンティック学習よりも厳密に簡単か？
• RQ3 マジョリティおよびマジョリティの論理和の片側近似次数は何か？ それらの近似次数および閾値次数と比べてどうか？
• RQ4 片側近似を用いることで、信頼性のある学習における標本複雑さと実行時間の滑らかなトレードオフを達成できるか？
• RQ5 片側近似次数が近似次数よりも顕著に小さい概念クラスは存在するか？ その場合、学習効率が向上するか？

主な発見

• マジョリティは時間 $ 2^{o(n)} $ で完全に信頼性のある学習が可能であり、完全に信頼性のある学習がアガンティック学習よりも厳密に簡単である可能性への最初の証拠を提供する。
• マジョリティの論理和は、片側多項式近似を用いて正の信頼性のある学習が可能であり、強力な誤差保証が得られる。
• マジョリティの片側近似次数は $ ilde{O}(n^{1/2}) $ であり、それらの近似次数よりも顕著に低いため、効率的学習が可能である。
• ハーフスペースでは、片側近似次数は $ ilde{ heta}(n) $ に達する可能性があるため、高重量ハーフスペースではこのアプローチの限界が示される。
• 多項式サイズのDNFは、時間 $ 2^{ ilde{O}( heta(n^{1/2}))} $ で正の信頼性のある学習が可能であり、標本複雑さと実行時間の間で滑らかなトレードオフが達成できる。
• この手法では、負の信頼性のあるDNF学習は効率的に達成できない。これは、負の片側近似次数に $ ilde{ heta}((n/ ext{log} n)^{2/3}) $ の下界が存在するためである。