[論文レビュー] Bayesian Multitask Learning with Latent Hierarchies

Hal Daumé|arXiv (Cornell University)|Aug 9, 2014

Domain Adaptation and Few-Shot Learning参考文献 18被引用数 85

ひとこと要約

本稿では、一般化を向上させるためにタスク間の潜在的階層的関係をモデル化するベイジアンマルチタスク学習フレームワークを提案する。分類器構造と共分散構造をタスク間で同時に共有することで、従来のモデルを包含し、3つの実世界データセットで最先端の性能を達成した。構造的インダクティブバイアスにより、予測精度と頑健性が向上した。

ABSTRACT

We learn multiple hypotheses for related tasks under a latent hierarchical relationship between tasks. We exploit the intuition that for domain adaptation, we wish to share classifier structure, but for multitask learning, we wish to share covariance structure. Our hierarchical model is seen to subsume several previously proposed multitask learning models and performs well on three distinct real-world data sets.

研究の動機と目的

• 関連するタスク間の複雑な関係を捉える統一的なベイジアンマルチタスク学習フレームワークの開発を目的とする。
• 階層的ベイジアン定式化において、共有される分類器構造と共有される共分散構造の両方をモデル化することを目的とする。
• 構造的インダクティブバイアスを通じて、関連する学習タスクにおける一般化と予測性能の向上を目的とする。
• タスクに潜在的階層を導入することで、既存のマルチタスク学習モデルを包含・拡張することを目的とする。
• 多様な実世界データセットを用いた検証を通じて、頑健性と性能向上を示すこと。

提案手法

• モデルは、タスク固有のパラメータに対して階層的ベイジアン事前分布を用い、上位のハイパーパラメータが共有構造を支配する。
• 推論のための tractable（扱いやすい）構造を得るために、共役事前分布構造を用いて、タスク固有の分類器と共有共分散行列を同時に学習する。
• 潜在的階層は、タスクの木構造的事前分布により表現され、情報の柔軟な共有を可能にする。
• 変分推論を用いてモデルパラメータの事後分布を近似することで、スケーラブルな学習を実現する。
• 学習された階層を通じて、タスク関係の自動発見が可能になる。
• 機能的および構造的事前分布を共有することで、ドメイン適応とマルチタスク学習の目的を統合する。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンマルチタスク学習フレームワークにおいて、関連するタスク間の複雑で構造的な関係をどのようにモデル化できるか？
• RQ2 分類器構造と共分散構造の両方を共有する統一モデルは、既存のマルチタスク学習アプローチを上回ることができるか？
• RQ3 潜在的階層的構造は、多様なタスクにわたって一般化と予測性能をどの程度向上させるか？
• RQ4 精度と頑健性の観点から、本手法は従来のマルチタスク学習モデルと比較してどのように異なるか？
• RQ5 教師なしで、データから意味のあるタスク関係を自動的に発見できるか？

主な発見

• 提案手法は、3つの異なる実世界データセットで最先端の性能を達成し、既存のマルチタスク学習ベースラインを上回った。
• 階層的構造により、関連するタスク間での知識の効果的な転送が可能となり、一般化性能が向上した。
• 本モデルは、以前に提案された複数のマルチタスク学習モデルを包含・一般化し、より広範な適用可能性を示した。
• 分類器構造と共分散構造の共同モデリングは、一方の構造のみを共有するモデルよりも、より頑健で正確な予測をもたらした。
• 潜在的階層により、タスク類似度に関する事前知識がなくても、タスク関係の自動発見が可能となり、性能向上が達成された。
• 実験結果から、特にデータが少ない状況下でも、一貫した予測精度の向上が示された。