[論文レビュー] Learning-to-Learn Stochastic Gradient Descent with Biased Regularization

Giulia Denevi, Carlo Ciliberto+2 more|arXiv (Cornell University)|Mar 25, 2019

Stochastic Gradient Optimization Techniques被引用数 43

ひとこと要約

本論文は、タスク関連性を活用するために、バイアス付き正則化リスクに対する SGD をオンラインで学習する学習-to-learn（LTL）フレームワークを提案する。過剰転送リスクの境界と、バイアスを推定するオンラインメタアルゴリズムを提供する。

ABSTRACT

We study the problem of learning-to-learn: inferring a learning algorithm that works well on tasks sampled from an unknown distribution. As class of algorithms we consider Stochastic Gradient Descent on the true risk regularized by the square euclidean distance to a bias vector. We present an average excess risk bound for such a learning algorithm. This result quantifies the potential benefit of using a bias vector with respect to the unbiased case. We then address the problem of estimating the bias from a sequence of tasks. We propose a meta-algorithm which incrementally updates the bias, as new tasks are observed. The low space and time complexity of this approach makes it appealing in practice. We provide guarantees on the learning ability of the meta-algorithm. A key feature of our results is that, when the number of tasks grows and their variance is relatively small, our learning-to-learn approach has a significant advantage over learning each task in isolation by Stochastic Gradient Descent without a bias term. We report on numerical experiments which demonstrate the effectiveness of our approach.

研究の動機と目的

• 環境から抽出されたタスクファミリに対して内側学習アルゴリズムを選択するメタ学習としての学習-to-learn（LTL）を動機づける。
• 内側アルゴリズムとして、タスクの関連性を活用するためのバイアス付き正則化真のリスクに対する SGD を提案する。
• バイアスが独立タスク学習（ITL）よりも性能を改善する状況を示す過剰転送リスク境界を導出する。
• 低い空間・時間計算量で一連のタスクからバイアスを順次推定するオンラインメタアルゴリズムを開発する。
• メタアルゴリズムの理論的保証を提供し、合成データと実データで実証的な有効性を示す。

提案手法

• 内側アルゴリズムを、バイアス h と正則化パラメータ lambda を用いた biased 正則化真リスクに対する SGD として定義する。
• 固定バイアス h に対する過剰転送リスク境界を証明し、Var_h^2 が小さいと改善が生じることを示す。
• 代理目的関数 L_Zn(h) = min_w R_{Z_n,h}(w) を導入し、それが凸で lambda-滑らかであることと勾配 nabla L_Zn(h) = -lambda (w_h(Z_n) - h) によって与えられることを示す。
• SGD の最後の内側反復から導出された epsilon-サブ勾配を用いてメタ目的を最適化するアルゴリズム2を開発し、オンラインでのバイアス更新を可能にする。
• バイアス推定 bar{h}_T とその結果としての過剰転送リスクの境界を示し、O(Var_m / sqrt(n)) の項と O(1/sqrt(T)) の項を含む。

実験結果

リサーチクエスチョン

• RQ1 バイアス付き正則化を用いた SGD は、関連タスクに対してバイアスなしの SGD よりも優れている条件は何か。
• RQ2 一連のタスクを通じて転送リスクを最小化する最適なバイアスをオンラインで推定するにはどうすればよいか。
• RQ3 オンラインのメタアルゴリズムがバイアスを更新する際の過剰転送リスクに関する統計的保証は何か。
• RQ4 設計したアプローチは、理論的保証を保ちながら空間・時間計算量の観点でどの程度スケールするか。
• RQ5 Synthetic および real data で、LTL における biased regularization の理論的利点を実証的に支持しているか。

主な発見

• タスクの重みベクトルがタスク間で小さな分散を持つ場合、適切なバイアスを用いた SGD は無偏学習より転送リスクを低くする。
• オンラインのメタアルゴリズムは、空間・時間計算量を低く保ちながらバイアスを推定でき、統計的保証を維持する。
• 固定バイアスに対する過剰転送リスク境界は Var_h, R, L, n に依存し、Var_h が小さいと性能が改善される。
• メタアルゴリズムは、n によって減衰する項と T によって減衰する項を組み合わせた転送リスク境界を達成し、より多くのタスクが観測されるほど利益が得られることを示す。
• コルリートは ITL (h=0) およびオラクルバイアスの状況が、LTL 文献と整合する具体的な境界を提供することを示す。
• Synthetic および real data の実験は、 biased regularization を用いた online LTL アプローチの実践的有効性を示している。