[論文レビュー] Efficient Representations for Life-Long Learning and Autoencoding

Maria-Florina Balcan, Avrim Blum+1 more|arXiv (Cornell University)|Nov 6, 2014

Machine Learning and Algorithms参考文献 33被引用数 43

ひとこと要約

本稿では、複数のタスクにまたがる共有表現を学習することで、高速かつデータ効率の良い学習を実現する、長期間にわたる機械学習のための効率的アルゴリズムを提案する。低次元部分空間および特徴量のブール結合を、アンカーモデルを用いて発見する手法を導入し、スパースで近似的最適なオートエンコーダーを構築する。これにより、個別にタスクを学習する場合と比較して、証明可能なサンプル複雑度の改善が得られる。

ABSTRACT

It has been a long-standing goal in machine learning, as well as in AI more generally, to develop life-long learning systems that learn many different tasks over time, and reuse insights from tasks learned, "learning to learn" as they do so. In this work we pose and provide efficient algorithms for several natural theoretical formulations of this goal. Specifically, we consider the problem of learning many different target functions over time, that share certain commonalities that are initially unknown to the learning algorithm. Our aim is to learn new internal representations as the algorithm learns new target functions, that capture this commonality and allow subsequent learning tasks to be solved more efficiently and from less data. We develop efficient algorithms for two very different kinds of commonalities that target functions might share: one based on learning common low-dimensional and unions of low-dimensional subspaces and one based on learning nonlinear Boolean combinations of features. Our algorithms for learning Boolean feature combinations additionally have a dual interpretation, and can be viewed as giving an efficient procedure for constructing near-optimal sparse Boolean autoencoders under a natural "anchor-set" assumption.

研究の動機と目的

• タスク間で知見を再利用できる、効率的でストリーミング型の長期間にわたる学習アルゴリズムの開発。
• 複数の目的関数に共通する構造的類似性の特定と学習。
• コンactな内部表現の構築により、オンライン学習におけるサンプル複雑度の低減。
• 自然な分布的仮定の下で、線形および非線形設定の両方において学習の理論的保証の提供。
• アンカーセット仮定を用いて、ブール特徴量の結合に対するスパースで過完全な表現の実現。

提案手法

• 現在の仮説と表現のみを保持するストリーミング型オンライン学習フレームワークを用いる。
• 線形設定における共有低次元部分空間の学習に、トレースノルム正則化と共同最適化を適用する。
• ブール関数の最小の積ベースのメタ特徴量を特定するために、アンカーバリエーブル仮定を用いる。
• 過完全なスパース表現に対して、アンカーセット仮定の下で二基準近似アルゴリズムを導入する。
• 表現が失敗した場合には、SchapireとSellieの多項式の正確な学習アルゴリズムを用いる。
• 定期的に学習済み表現を再圧縮し、論理積メタ特徴量の数を最小化する。

実験結果

リサーチクエスチョン

• RQ1 証明可能なサンプル効率性を伴い、ストリーミング型のオンライン設定で、複数の分類タスクにまたがる共有低次元部分空間を学習することは可能か？
• RQ2 非線形なブール特徴量の組み合わせを効率的に発見し、複数の目的関数に対してスパースでコンactな表現を可能にするにはどうすればよいか？
• RQ3 スパースなブールオートエンコーダーの学習において、近似的最適な性能を達成するために必要な仮定は何か？
• RQ4 過去の学習データを保存せずに、長期間にわたる学習における低サンプル複雑度を維持することは可能か？
• RQ5 学習済みの多項式関数を、最小限の重複する論理積メタ特徴量に効率的に圧縮するにはどうすればよいか？

主な発見

• コンパクトな表現から学習する場合、1タスクあたりのサンプル複雑度が O(B²k) に抑えられ、独立学習の Ω(nm/ϵ) と比較して顕著に優れている。
• 線形部分空間の場合、対数凸分布の下でサンプル複雑度の改善が得られ、誤差境界は角度の分離度に依存する。
• アンカーバリエーブル仮定の下では、ブールオートエンコーディングの最適な数の積ベースメタ特徴量が特定可能である。
• アンカーセット仮定の下では、二基準近似アルゴリズムが提供され、スパarsityとメタ特徴量の数の両方が対数的要因内で近似される。
• 完全な再トレーニングが必要なタスク数は n² + k で抑えられ、新たなタスクが到着してもスケーラビリティが保証される。
• 定期的な表現の圧縮により、多項式の効率的で長期間にわたる学習が可能になる。