[論文レビュー] Self-Paced Learning: an Implicit Regularization Perspective

Yanbo Fan, Ran He+2 more|arXiv (Cornell University)|Jun 1, 2016

Sparse and Compressive Sensing Techniques被引用数 6

ひとこと要約

本稿では、凸双対性を介してロバスト損失関数からサンプル重み戦略を導出する、新しい自己-pacedな暗黙的正則化項（SPL-IR）フレームワークを提案する。これにより、一般で理論的裏付けのある自己-paced学習のアプローチが可能になる。本手法は、外れ値に対して優れた耐性を示し、教師ありおよび教師なしの両方のタスクで一般化性能が向上する。また、半2次元最適化（half-quadratic optimization）と理論的関連性を有し、行列分解、クラスタリング、分類の分野で実証的検証がなされている。

ABSTRACT

Self-paced learning (SPL) mimics the cognitive mechanism of humans and animals that gradually learns from easy to hard samples. One key issue in SPL is to obtain better weighting strategy that is determined by minimizer function. Existing methods usually pursue this by artificially designing the explicit form of SPL regularizer. In this paper, we focus on the minimizer function, and study a group of new regularizer, named self-paced implicit regularizer that is deduced from robust loss function. Based on the convex conjugacy theory, the minimizer function for self-paced implicit regularizer can be directly learned from the latent loss function, while the analytic form of the regularizer can be even known. A general framework (named SPL-IR) for SPL is developed accordingly. We demonstrate that the learning procedure of SPL-IR is associated with latent robust loss functions, thus can provide some theoretical inspirations for its working mechanism. We further analyze the relation between SPL-IR and half-quadratic optimization. Finally, we implement SPL-IR to both supervised and unsupervised tasks, and experimental results corroborate our ideas and demonstrate the correctness and effectiveness of implicit regularizers.

研究の動機と目的

• 自己-paced学習（SPL）の背後にある理論的理解の不足を解消するため、暗黙的正則化を用いてその基本的メカニズムを分析すること。
• 学習目的に依存しない一般化されたSPLフレームワーク（SPL-IR）を構築し、潜在的なロバスト損失関数に基づくものとする。
• SPL-IRと半2次元（HQ）最適化との理論的関連性を確立し、耐性および最適化の安定性を向上させること。
• SPL-IRの有効性を、行列分解、クラスタリング、分類を含む多様なタスクにおいて実証的に示すこと。

提案手法

• 凸双対性理論に基づき、正則化項とその最小化関数を、潜在的なロバスト損失関数によって暗黙的に定義する自己-pacedな暗黙的正則化項を提案する。
• 凸双対関係を用いて、潜在損失 $\phi(\lambda, \ell)$ から直接的に最小化関数 $\sigma(\lambda, \ell)$ と正則化項 $\psi(\lambda, v)$ を導出する。解析的閉形式を必要としない。
• モデル重みとサンプル重みを同時に最適化するための一般化された最適化フレームワーク（SPL-IR）を構築し、交互探索戦略（ASS）を適用する。
• SPL-IRと半2次元（HQ）最適化との理論的関連性を確立し、HQで用いられるロバスト損失関数をSPLにおける暗黙的正則化項として再利用可能であることを示す。
• Huber損失やCauchy損失などのロバスト損失関数を潜在的目的関数として用い、外れ値耐性を有する暗黙的正則化項を誘導する。
• 標準ベンチマークを用いて、教師あり（分類）および教師なし（クラスタリング、行列分解）タスクにおいてフレームワークを検証する。

実験結果

リサーチクエスチョン

• RQ1 明示的に設計された正則化項に依存しない、暗黙的正則化フレームワークとして自己-paced学習を形式化する方法は何か？
• RQ2 SPLにおける潜在的ロバスト損失関数と導出される暗黙的正則化項および最小化関数との理論的関係は何か？
• RQ3 SPL-IRの学習プロセスは、ロバスト最適化および半2次元（HQ）手法とどのように関連しているか？
• RQ4 ロバスト損失関数から導出される暗黙的正則化項は、教師ありおよび教師なし学習タスクの両方で一般化性能および耐性を向上させることができるか？

主な発見

• SPL-IRフレームワークは、ロバスト損失関数から正則化項を暗黙的に導出することで、自己-paced学習を一般化し、手動による正則化項設計の必要性を排除した。
• SPL-IRの学習手順は、潜在的なロバスト損失関数と本質的に関連しており、外れ値および重尾ノイズに対して耐性を示す理論的根拠を提供する。
• SPL-IRと半2次元（HQ）最適化との間には明確な理論的関連性が確立され、HQで広く用いられるロバスト損失関数をSPLに再利用可能であることが示された。
• 実証的結果から、SPL-IRは行列分解、クラスタリング、分類タスクにおいて、従来の明示的正則化項を用いたSPL手法を上回り、収束性および一般化性能が向上していることが確認された。
• 暗黙的正則化項フレームワークは、教師ありおよび教師なし学習の両方で有効であり、その広範な適用可能性および耐性を確認した。