[論文レビュー] Distribution-Independent Evolvability of Linear Threshold Functions

Vitaly Feldman|arXiv (Cornell University)|Mar 25, 2011

Machine Learning and Algorithms参考文献 26被引用数 10

ひとこと要約

この論文は、Valiantのモデルにおいて、論理積（conjunctions）が分布に依存しない形で学習可能でないことを示しており、長年の未解決問題を解決した。本論文では、この否定的結果を証明するために、相関からの学習の複雑さを下界付ける新しい組合せ的パラメータを導入した。さらに、非線形損失関数（例：2次損失）に基づく変異アルゴリズムを用いることで、非可視なマージンを持つ線形しきい関数（LTFs）が単調に学習可能であることを示した。この損失関数は良好な性質を持つため、進化過程で性能が低下しないことを保証する。

ABSTRACT

Valiant's (2007) model of evolvability models the evolutionary process of acquiring useful functionality as a restricted form of learning from random examples. Linear threshold functions and their various subclasses, such as conjunctions and decision lists, play a fundamental role in learning theory and hence their evolvability has been the primary focus of research on Valiant's framework (2007). One of the main open problems regarding the model is whether conjunctions are evolvable distribution-independently (Feldman and Valiant, 2008). We show that the answer is negative. Our proof is based on a new combinatorial parameter of a concept class that lower-bounds the complexity of learning from correlations. We contrast the lower bound with a proof that linear threshold functions having a non-negligible margin on the data points are evolvable distribution-independently via a simple mutation algorithm. Our algorithm relies on a non-linear loss function being used to select the hypotheses instead of 0-1 loss in Valiant's (2007) original definition. The proof of evolvability requires that the loss function satisfies several mild conditions that are, for example, satisfied by the quadratic loss function studied in several other works (Michael, 2007; Feldman, 2009; Valiant, 2010). An important property of our evolution algorithm is monotonicity, that is the algorithm guarantees evolvability without any decreases in performance. Previously, monotone evolvability was only shown for conjunctions with quadratic loss (Feldman, 2009) or when the distribution on the domain is severely restricted (Michael, 2007; Feldman, 2009; Kanade et al., 2010)

研究の動機と目的

• Valiantの学習可能性フレームワークにおいて、論理積が分布に依存しない形で学習可能かどうかという未解決問題を解明すること。
• 相関からの学習の複雑さを下界付ける新しい組合せ的パラメータを導入し、より強い否定的結果を得ること。
• 非可視なマージンを持つ線形しきい関数（LTF）が非線形損失関数を用いて単調に学習可能であることを示すこと。
• データ分布に制限を課さずに、大マージンを持つLTFの単調な学習可能性を確立すること。
• 非線形損失関数の使用により、性能の単調な向上が可能であることを示し、従来の非単調または分布に依存するアルゴリズムとは対照的である。

提案手法

• 相関からの学習の複雑さを下界付けるために、新しい組合せ的パラメータを導入し、論理積の学習不能性を証明するのに用いる。
• 入力特徴量に関する期待損失微分に基づく勾配に類似したステップで仮説を更新する変異アルゴリズムを提案する。
• 有界な2階微分と微分可能性を満たすような、良好な性質を持つ損失関数（例：2次損失）を用いる。
• テイラー展開と損失関数の対称性を用いて、1ステップあたりの期待損失の減少量を評価し、単調な改善を証明する。
• 埋め込み可能な概念クラスに対して結果を適用し、あるクラスが大マージン半空間に効率的に埋め込める場合、そのクラスは単調に学習可能であることを示す。
• 各ステップで、損失の減少量が少なくとも α²·B/2 に達することを保証することで、性能向上が保証されることを示す。ここで α は特徴量と損失勾配の相関に比例する。

実験結果

リサーチクエスチョン

• RQ1 Valiantの学習可能性モデルにおいて、論理積は分布に依存せずに学習可能か？
• RQ2 非線形損失関数は、線形しきい関数の単調な学習を可能にするか？
• RQ3 学習可能性フレームワークにおける相関からの学習の複雑さの下界を定める組合せ的パラメータは何か？
• RQ4 データ分布に制限を課さずに、大マージンを持つ線形しきい関数の単調な学習は可能か？
• RQ5 概念クラスを大マージン半空間に効率的に埋め込むことで、単調な学習が達成可能か？

主な発見

• 論理積は分布に依存しない形で学習可能でないことが示され、学習可能性フレームワークにおける主要な未解決問題が解決された。
• 相関からの学習の複雑さを下界付ける新しい組合せ的パラメータが導入され、より強い否定的結果を得ることが可能になった。
• ある多項式 q(·) に対して γ ≥ 1/q(n) のマージンを持つ線形しきい関数は、任意の良好な性質を持つ損失関数を用いて単調に学習可能である。
• 提案された変異アルゴリズムは、1ステップあたりの期待損失を少なくとも α²·B/2 減少させることで、性能の単調な向上を保証する。
• 損失関数が点ごとや世代ごとに変化しても、損失関数およびその微分の有界性（a, A, B）が保たれる限り、結果は成り立つ。
• 概念クラスが大マージン半空間に効率的に埋め込める場合、その元のクラスは任意の良好な損失関数を用いて単調に学習可能である。