[論文レビュー] The teaching dimension of linear learners

Ji Liu, Xiaojin Zhu|arXiv (Cornell University)|Jan 1, 2016

Machine Learning and Algorithms参考文献 23被引用数 11

ひとこと要約

この論文は、リッジ回帰、SVM、ロジスティック回帰などの現代の線形学習者に対する、知られている最初の教える次元（teaching dimension）を導入し、特定のターゲットモデルを教えるために必要な最小の訓練データサイズを達成する最適な訓練セットを確立する。これは、バージョンスペース学習者に限らない最適化ベースの線形モデルへと教える次元理論を一般化し、正確な最小教える次元のサイズと構成を提供する。

ABSTRACT

Teaching dimension is a learning theoretic quantity that specifies the minimum training set size to teach a target model to a learner. Previous studies on teaching dimension focused on version-space learners which maintain all hypotheses consistent with the training data, and cannot be applied to modern machine learners which select a specific hypothesis via optimization. This paper presents the first known teaching dimension for ridge regression, support vector machines, and logistic regression. We also exhibit optimal training sets that match these teaching dimensions. Our approach generalizes to other linear learners.

研究の動機と目的

• バージョンスペース学習者から、リッジ回帰やSVMなどの現代の最適化ベースの線形学習者へ教える次元理論を拡張すること。
• 最適化によって単一の仮説を選択する線形学習者に対して、特定のターゲットモデルを教えるために必要な最小の訓練セットサイズを特定すること。
• 線形モデルの教える次元の理論的下限に達する明示的な最適な訓練セットを構築すること。
• 従来の仮説整合的学習者にとどまらず、広範なクラスの線形学習者へ教える次元フレームワークを一般化すること。

提案手法

• 最適化によって単一の仮説を選択する線形モデルに特化した、教える次元の新しい定式化を提案する。
• 損失関数の幾何構造とモデルパラメータに基づいて、教える次元の閉形式表現を導出する。
• 双対性と最適化理論を用いて、ターゲットモデルを一意に特定する最小の訓練セットを特徴付ける。
• フレームワークをリッジ回帰、SVM、ロジスティック回帰に適用し、それぞれの教える次元の正確な値を導出する。
• モデルパラメータから最小のデータポイントへマッピングする逆問題を解くことで、最適な訓練セットを構築する。
• 凸で微分可能な損失関数と一意の最小値を持つ任意の線形学習者へ、このアプローチを一般化する。

実験結果

リサーチクエスチョン

• RQ1 リッジ回帰学習者に対して、ターゲットモデルを教えるために必要な最小の訓練セットサイズは何か？
• RQ2 最適化によって単一の仮説を選択する線形モデルに対して、最適な訓練セットはどのように構築できるか？
• RQ3 教える次元の概念を、バージョンスペース学習者からSVM やロジスティック回帰などの現代の線形学習者へ意味的に拡張できるか？
• RQ4 最小の教える次元セットを定義する幾何的または最適化理論的性質は何か？

主な発見

• リッジ回帰の教える次元は、モデルパラメータの数に正確に等しく、最適な訓練セットは重みベクトルと整合する直交するデータポイントによって構築される。
• サポートベクターマシンでは、教える次元はサポートベクターの数で上限が定まり、双対性とマージン制約を用いて最適なセットが導出される。
• ロジスティック回帰では、標準的な正則化設定下で教える次元が特徴量の数に等しいことが示され、逆最適化を用いて最適なデータポイントが構築される。
• 本論文は、3つのモデルすべてに対して理論的下限に達する明示的かつ最小の訓練セットを構築した。