[論文レビュー] Active Learning with Multiple Kernels

Song‐Nam Hong, Jeongmin Chae|arXiv (Cornell University)|May 7, 2020

Machine Learning and Algorithms参考文献 33被引用数 4

ひとこと要約

本稿では、ラベルコストを低減するために、インプットデータのうちどのデータをラベル付けるかを知的に選択する、オンライン複数カーネル学習のストリームベースのアクティブラーニングフレームワークであるアクティブ複数カーネル学習（AMKL）を提案する。$\mathcal{O}(\sqrt{T})$ の最適な非線形レグレットを証明することで、AMKLは、ラベル要求を著しく削減しながらも、性能の損失を最小限に抑え、さらに、不要なカーネルをリアルタイムで除外することで効率性と正確性を向上させる、適応的カーネル選択（AMKL-AKS）を導入する。

ABSTRACT

Online multiple kernel learning (OMKL) has provided an attractive performance in nonlinear function learning tasks. Leveraging a random feature approximation, the major drawback of OMKL, known as the curse of dimensionality, has been recently alleviated. In this paper, we introduce a new research problem, termed (stream-based) active multiple kernel learning (AMKL), in which a learner is allowed to label selected data from an oracle according to a selection criterion. This is necessary in many real-world applications as acquiring true labels is costly or time-consuming. We prove that AMKL achieves an optimal sublinear regret, implying that the proposed selection criterion indeed avoids unuseful label-requests. Furthermore, we propose AMKL with an adaptive kernel selection (AMKL-AKS) in which irrelevant kernels can be excluded from a kernel dictionary 'on the fly'. This approach can improve the efficiency of active learning as well as the accuracy of a function approximation. Via numerical tests with various real datasets, it is demonstrated that AMKL-AKS yields a similar or better performance than the best-known OMKL, with a smaller number of labeled data.

研究の動機と目的

• 実世界の機械学習応用において、専門家によるラベル付きデータが希少で高価であるという高コストなラベル付けの問題に対処すること。
• 不要なラベル要求を最小限に抑える、オンライン複数カーネル学習（OMKL）のストリームベースのアクティブラーニングフレームワークの開発。
• 提案された選択基準が、完全にラベル付けされたOMKLと同等の性能を維持するという最適な非線形レグレットを達成することの証明。
• 学習中に不要なカーネルを動的に除外することで、効率性と正確性を向上させる、適応的カーネル選択（AMKL-AKS）の導入。

提案手法

• オンライン複数カーネル学習（OMKL）の拡張として、ストリームベースのアクティブラーニング手法であるアクティブ複数カーネル学習（AMKL）を提案。学習者は、信頼度に基づく基準に従って、到着するデータのうちどのデータをラベル付けるかを選択する。
• 未ラベル化による損失をパrameter $\eta_c$ で制限する選択基準を導入。これにより、ラベルを飛ばしても性能劣化が制御された範囲内に抑えられる。
• OMKLにおける次元の呪いを軽減するため、ランダム特徴量近似を採用。これにより、低次元空間における効率的なオンライン最適化が可能になる。
• 蓄積された損失に基づいて、不要なカーネルを辞書から除外する適応的カーネル選択メカニズムであるAMKL-AKSを開発。これにより、速度と正確性の両方が向上する。
• レグレット解析を用いたオンライン凸最適化技術を活用。$\eta_c = \mathcal{O}(1/\sqrt{T})$ のとき、AMKLが $\mathcal{O}(\sqrt{T})$ の非線形レグレットを達成することを証明。
• 三角不等式と損失関数の凸性を用いて、アクティブラーナーと完全にラベル付けされたOMKLベースラインとの間のレグレットを上限で制御。

実験結果

リサーチクエスチョン

• RQ1 アクティブラーニングは、性能を損なわず、オンライン複数カーネル学習に効果的に統合可能か？
• RQ2 AMKLで提案された選択基準は、到着したデータをラベル付けしない場合、性能劣化が制限された範囲内に抑えられることを保証するか？
• RQ3 AMKL-AKSにおける適応的カーネル選択は、学習中に不要なカーネルを動的に除外することで、学習の効率性と正確性を向上させることができるか？
• RQ4 提案されたAMKLフレームワークの理論的レグレットバウンドは何か？また、最適な非線形レグレットを達成するか？

主な発見

• 選択閾値 $\eta_c = \mathcal{O}(1/\sqrt{T})$ のとき、AMKLは最適な非線形レグレット $\mathcal{O}(\sqrt{T})$ を達成し、不要なラベル要求を回避することが証明された。
• 提案された選択基準により、データポイントをラベル付けしない場合、ラベル付けした場合と比較して最大 $\eta_c$ の損失に抑えられる。これにより、コストと正確性のバランスが取れる。
• AMKL-AKSは、正確性において既存の最良のOMKL手法と同等またはそれを上回り、ラベル付きデータの必要数を著しく削減した。
• 実世界のデータセットを用いた数値実験により、AMKL-AKSが、ラベル付けの負荷を減らしながらも、最先端のOMKLと同等またはそれ以上の性能を達成することが確認された。
• AMKL-AKSにおける適応的カーネル選択メカニズムは、リアルタイムで不要なカーネルを効果的に除外し、計算効率とモデル収束性を向上させた。
• レグレット解析により、AMKLと完全にラベル付けされたOMKLベースラインとの間の累積損失差が非線形的に増加することが示され、この手法の理論的頑健性が裏付けられた。