[論文レビュー] Efficient Output Kernel Learning for Multiple Tasks

Pratik Jawanpuria, Maksim Lapin+2 more|arXiv (Cornell University)|Nov 18, 2015

Sparse and Compressive Sensing Techniques参考文献 36被引用数 12

ひとこと要約

本稿では、特定のp-ノルム正則化子（p ∈ (1,2]）に対して、出力カーネル行列の半正定値制約を最適性を損なわずに取り除けることを示すことにより、マルチタスク学習における出力カーネル行列の学習のための新規で効率的な手法を提案する。これにより、非制約な双対問題が得られ、確立された最適化手法によりスケーラブルな最適化が可能となり、特にスパース正則化子がタスク関係の解釈可能性を高める点で、学習時間の大幅な短縮と一般化性能の向上が達成される。

ABSTRACT

The paradigm of multi-task learning is that one can achieve better generalization by learning tasks jointly and thus exploiting the similarity between the tasks rather than learning them independently of each other. While previously the relationship between tasks had to be user-defined in the form of an output kernel, recent approaches jointly learn the tasks and the output kernel. As the output kernel is a positive semidefinite matrix, the resulting optimization problems are not scalable in the number of tasks as an eigendecomposition is required in each step. \mbox{Using} the theory of positive semidefinite kernels we show in this paper that for a certain class of regularizers on the output kernel, the constraint of being positive semidefinite can be dropped as it is automatically satisfied for the relaxed problem. This leads to an unconstrained dual problem which can be solved efficiently. Experiments on several multi-task and multi-class data sets illustrate the efficacy of our approach in terms of computational efficiency as well as generalization performance.

研究の動機と目的

• 出力カーネル行列の固有値分解を繰り返し行う必要がある、従来のマルチタスク学習手法における計算ボトル neck を解消すること。
• 計算効率と多数のタスクへのスケーラビリティを維持しながら、出力カーネル行列のエンドツーエンド学習を可能にすること。
• p-ノルム正則化を用いることで、出力カーネルのスパarsityを促進し、タスク関係の解釈可能性を向上させること。
• 出力カーネルに半正定値制約を課さない最適化問題において、その制約を緩和できる理論的条件を確立すること。
• 代替最小化や固有値分解を回避する、スケーラブルで非制約な双対最適化フレームワークを構築すること。

提案手法

• 本稿では、p-ノルム正則化子を出力カーネル行列に適用する統合的マルチタスク学習問題を定式化し、p ∈ (1,2]（Frobeniusノルムを含む）を含む。
• p ∈ (1,2] のp-ノルムを含む広範な正則化子クラスに対して、最適解において出力カーネルの半正定値制約が自動的に満たされることを証明し、最適化からその制約を削除可能であることを示す。
• この緩和により、非制約な双対問題が得られ、凸性が保たれ、効率的な最適化が可能になる。
• 双対問題は、大規模データセットに適したスケーラブルな手法である確率的双対座標降下法（SDCA）を用いて解かれる。これにより、高価な固有値分解ステップを回避できる。
• p-ノルムを超える広範な正則化子クラスに対しても一般化可能であり、特定の凸性および滑らかさ条件を満たすものとして特徴づけられる。
• 本手法は、タスクパラメータと出力カーネルの間で交互最小化を行うのではなく、統一的な最適化フレームワーク内で両者を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 マルチタスク学習の最適化問題において、出力カーネルの半正定値制約を安全に削除できる条件は何か？
• RQ2 出力カーネル行列へのp-ノルム正則化は、学習されたタスク関係のスパarsityと解釈可能性にどのように影響を与えるか？
• RQ3 SDCAによる非制約双対最適化は、固有値分解を必要とする従来手法と比較して、同等またはより優れた一般化性能を達成できるか？
• RQ4 本手法は、タスク数の増加に伴い、従来の出力カーネル学習アルゴリズムに比べて、学習時間とスケーラビリティにおいてどのような計算的利点を有するか？
• RQ5 本手法は、多様なマルチタスクおよびマルチクラスベンチマークデータセットにおいて、一般化性能を維持または向上させるか？

主な発見

• FMTL p-Sは、SUN397データセットで最大タスク数の場合、OKLに比べて最大7倍、ConvexOKLに比べて4.3倍高速な学習を達成した。これは、固有値分解と交互最小化の削除によるものである。
• MNISTおよびUSPSでは、FMTL 2-Sは、それぞれOKLに比べて平均実行時間で25.5倍および26.2倍高速であり、スケーラビリティの優位性が明確に示された。
• p = 8/7（1に近い）で学習された出力カーネル行列は、p = 2に比べて顕著にスパースなタスク関係を示し、SUN397のスーパークラスなど、データ内に明確な階層的構造が存在することが明らかになった。
• ベースライン手法よりも優れた一般化性能を達成し、SUN397とMIT Indoor67では、それぞれ最大5.2倍および7倍の実行時間短縮が達成された。
• 非制約双対定式化により、正確な双対ギャップ計算（10−15に設定）が可能となり、収束の信頼性あるモニタリングが可能になった。これに対して、ベースライン手法では定義の曖昧な停止基準が用いられていた。
• 理論的分析により、p ∈ (1,2] の範囲では、制約を明示的に課さなくても最適出力カーネルが半正定値のままであることが確認され、効率的な最適化が可能であることが裏付けられた。