[論文レビュー] A PAC-Bayesian bound for Lifelong Learning

Anastasia Pentina, Christoph H. Lampert|arXiv (Cornell University)|Nov 12, 2013

Domain Adaptation and Few-Shot Learning参考文献 27被引用数 121

ひとこと要約

本稿では、生涯学習のためのPAC-Bayesian一般化境界を導入し、パラメータ転送と表現転送を特別なケースとして統一する。この境界を最適化することで、分類器重みの転送を目的としたアルゴリズムと、低次元特徴部分空間の学習を目的としたもう一つのアルゴリズムを導出し、ELLAsなどの既存手法と同等の性能を達成する。

ABSTRACT

Transfer learning has received a lot of attention in the machine learning community over the last years, and several effective algorithms have been developed. However, relatively little is known about their theoretical properties, especially in the setting of lifelong learning, where the goal is to transfer information to tasks for which no data have been observed so far. In this work we study lifelong learning from a theoretical perspective. Our main result is a PAC-Bayesian generalization bound that offers a unified view on existing paradigms for transfer learning, such as the transfer of parameters or the transfer of low-dimensional representations. We also use the bound to derive two principled lifelong learning algorithms, and we show that these yield results comparable with existing methods.

研究の動機と目的

• PAC-Bayesian枠組みにおける一般化境界を導出することで、生涯学習の理論的基盤を提供すること。
• 既存の転移学習のパラダイム—パラメータ転送と表現転送—を一つの理論的枠組みで統一すること。
• 一般化理論に基づいたヒューリスティックではない、根拠のある生涯学習アルゴリズムを境界から導出すること。
• 境界を転送情報の品質指標として用いることで、アルゴリズム設計と分析を可能にすること。
• 導出された境界を通して、生涯学習手法の内在的仮定、特にタスク間関係性とハイパーポストリアル構造についての考察を行うこと。

提案手法

• データ表現と学習アルゴリズムに依存する生涯学習のためのPAC-Bayesian一般化境界を導出し、観測済みタスクの平均損失に基づいて、将来のタスクにおける期待損失を定量化する。
• 境界を用いて二つのアルゴリズムを設計する：一つは過去のタスクの重みの重み付き組み合わせによる分類器パラメータの転送を目的とし、もう一つは将来のタスクのための低次元特徴部分空間の特定を目的とする。
• 線形回帰と表現学習の設定に境界を適用し、特定の仮定の下で先行研究から得られた既知の結果を回復することを示す。
• カルバック・ライバラー距離とホーフィングの補題を用いて、一般化誤差の高確率境界を導出し、凸双対性と期待値の不等式を活用する。
• ハイパーポストリアル分布に関して境界を最適化することで、恣意的な正則化を避ける根拠のある学習ルールを生成する。
• ランドマイニングおよびスクールズデータセット上で実験的に検証を行い、ELLAsおよびARRと性能を比較し、ハイパーパラメータはモデル選択により調整する。

実験結果

リサーチクエスチョン

• RQ1 一つの理論的枠組みが、生涯学習における異なる転移学習パラダイムを統一できるか？
• RQ2 データ表現と学習アルゴリズムの選択を反映する一般化境界を、生涯学習においてどのように構築できるか？
• RQ3 導出された境界を用いて、既存のヒューリスティック手法と同等またはそれを上回る性能を示す根拠のある生涯学習アルゴリズムを設計できるか？
• RQ4 ハイパーポストリアル分布に埋め込まれた内在的仮定は何か？それらはタスク間転送にどのように影響するか？
• RQ5 異なるハイパーパriorの選択（例：ガウス分布の分散）が、実際の導出アルゴリズムの性能にどのように影響するか？

主な発見

• 提案されたPAC-Bayesian境界は、パラメータ転送と表現転送を特別なケースとしてうまく統合し、共通の理論的基盤を提供する。
• 導出されたアルゴリズムは、ELLAsなどの既存手法と同等またはわずかに優れた性能を達成する。特にハイパーパラメータを最適化した場合に顕著である。
• ランドマイニングデータセットでは、パラメータ転送アルゴリズムの性能が、ガウス事前分布の分散（σ = 1およびσ = 10）の値に強く依存しない。
• スクールズデータセットでは、σの値が性能に顕著な影響を及ぼす：σ = 10ではELLAsとほぼ同等の結果が得られ、σ = 1ではより慎重で効果が低い学習が行われる。
• 本手法ではスパarsity仮定が明示的に導入されていないため、ELLAsとの性能差が説明できる可能性がある。
• 境界は転送情報の品質指標として機能し、根拠に基づいたアルゴリズム設計と、生涯学習手法における内在的仮定の分析を可能にする。