[論文レビュー] What Objective Does Self-paced Learning Indeed Optimize?

Deyu Meng, Qian Zhao+1 more|arXiv (Cornell University)|Nov 19, 2015

Domain Adaptation and Few-Shot Learning参考文献 36被引用数 64

ひとこと要約

本稿は、自己-paced学習（SPL）が潜在的な非凸な正則化目的関数を最適化することを明らかにし、SPLを主要化最小化（MM）および非凸な正則化ペナルティ（NCRP）、例えばSCAD、LOG、EXPと正式に結びつける。理論的枠組みにより、SPLのノイズ耐性と局所最適解の回避能力が説明され、新規のグループ部分順序損失事前知識を用いたFCVID動画データセットにおける最先端の性能で裏付けられている。

ABSTRACT

Self-paced learning (SPL) is a recently raised methodology designed through simulating the learning principle of humans/animals. A variety of SPL realization schemes have been designed for different computer vision and pattern recognition tasks, and empirically substantiated to be effective in these applications. However, the investigation on its theoretical insight is still a blank. To this issue, this study attempts to provide some new theoretical understanding under the SPL scheme. Specifically, we prove that the solving strategy on SPL accords with a majorization minimization algorithm implemented on a latent objective function. Furthermore, we find that the loss function contained in this latent objective has a similar configuration with non-convex regularized penalty (NSPR) known in statistics and machine learning. Such connection inspires us discovering more intrinsic relationship between SPL regimes and NSPR forms, like SCAD, LOG and EXP. The robustness insight under SPL can then be finely explained. We also analyze the capability of SPL on its easy loss prior embedding property, and provide an insightful interpretation to the effectiveness mechanism under previous SPL variations. Besides, we design a group-partial-order loss prior, which is especially useful to weakly labeled large-scale data processing tasks. Through applying SPL with this loss prior to the FCVID dataset, which is currently one of the biggest manually annotated video dataset, our method achieves state-of-the-art performance beyond previous methods, which further helps supports the proposed theoretical arguments.

研究の動機と目的

• 自己-paced学習（SPL）の背後にある理論的メカニズムを解明すること。SPLは実験的に成功しているが、厳密な理論的分析が不足している。
• SPLと主要化最小化（MM）アルゴリズムの間の正式な関係を確立し、SPLの反復最適化における収束性と安定性を明確化すること。
• SPLの動作領域と非凸な正則化ペナルティ（NCRP）、例えばSCAD、LOG、EXPとの内在的関係を明らかにし、SPLのノイズおよび外れ値に対する耐性を説明すること。
• 非凸最適化における悪い局所最適解を回避するのに寄与するSPLの内在的「易しいうちから」学習事前知識の能力を分析すること。
• SPLの性能を強化するための新規なグループ部分順序損失事前知識を開発・検証すること。特に弱教師ありの大規模マルチメディアデータセットに有効である。

提案手法

• SPLで用いられる標準的な交互最適化戦略（AOS）が、潜在的目的関数に対して適用された主要化最小化（MM）アルゴリズムと数学的に同等であることを証明すること。
• 潜在的SPL目的関数における損失関数が、キャップドノルムペナルティ（CNP）やミニマックス凹みペナルティ（MCP）を含む、よく知られた非凸な正則化ペナルティに対応することを特定すること。
• 特定のSPLバージョン（例えば、ハードSPLおよび線形SPL）が、SCAD、LOG、EXPペナルティに基づく最適化と理論的に同等であることを確立すること。
• 構造的難易度順序を符号化する新規なグループ部分順序損失事前知識を提案すること。これは特に弱教師ありの大規模データに有益である。
• FCVIDデータセット（大規模な手動アノテーション付き動画データセット）に、グループ部分順序事前知識を組み込んだ提案されたSPLフレームワークを実装すること。
• 実証的評価を用いて理論的主張を検証し、マルチメディアイベント検出において最先端の性能を示すこと。

実験結果

リサーチクエスチョン

• RQ1 自己-paced学習（SPL）が最適化する真の目的関数は何か？ そして、既存の最適化フレームワークとどのように関係しているか？
• RQ2 SPLで用いられる交互最適化戦略（AOS）は、主要化最小化（MM）アルゴリズムとどのように関係しているか？
• RQ3 SPLと非凸な正則化ペナルティ（NCRP）、例えばSCAD、LOG、EXPとの理論的関連性は何か？
• RQ4 なぜSPLはノイズや外れ値が多様なデータに対して耐性を示すのか？ その背後にある最適化目的関数によって説明可能か？
• RQ5 グループ部分順序という新規な損失事前知識は、弱教師ありの大規模マルチメディアデータセットにおけるSPLの性能を向上させることができるか？

主な発見

• SPLで用いられる交互最適化戦略（AOS）は、潜在的目的関数に対して適用された主要化最小化（MM）アルゴリズムと正式に同等である。これにより、収束性と安定性に関する理論的基盤が確立される。
• 潜在的SPL目的関数における損失関数は、正確に非凸な正則化ペナルティ（NCRP）に対応しており、ハードSPLではキャップドノルムペナルティ（CNP）、線形SPLではミニマックス凹みペナルティ（MCP）に対応する。
• 理論的枠組みにより、SPLの外れ値および強いノイズに対する耐性が、NCRPに基づく目的関数を最適化することの自然な結果として説明できる。NCRPはその耐性で知られている。
• SPLの内在的「易しいうちから」学習事前知識は、非凸最適化における悪い局所最適解を回避するのに寄与し、固定された損失関数とは対照的に原理的で代替可能な手法を提供する。
• 提案されたグループ部分順序損失事前知識は、弱教師ありの大規模データにおけるSPLの性能を顕著に向上させ、FCVIDデータセットで0.889 mAPという最先端の結果を達成した。
• FCVIDにおける実証的結果は理論的主張を裏付け、新規損失事前知識を用いたSPLが、マルチメディアイベント検出において従来手法を上回ることを示した。