[論文レビュー] Cross-Domain Multitask Learning with Latent Probit Models

Shaobo Han, Xuejun Liao+1 more|arXiv (Cornell University)|Jun 27, 2012

Domain Adaptation and Few-Shot Learning参考文献 15被引用数 10

ひとこと要約

本稿では、異種の特徴空間を持つ複数のドメイン間で、スパースなドメイン変換と共有分類器を共通の潜在空間で同時に学習することで、効果的な分類を実現する潜在プロビットモデル（LPM）を提案する。スパース性を変換と分類器の両方に課すことにより一般化性能が向上し、変換のスパース性に基づいた分類器の推定誤差に関する理論的誤差バウンドが導出される。

ABSTRACT

Learning multiple tasks across heterogeneous domains is a challenging problem since the feature space may not be the same for different tasks. We assume the data in multiple tasks are generated from a latent common domain via sparse domain transforms and propose a latent probit model (LPM) to jointly learn the domain transforms, and the shared probit classifier in the common domain. To learn meaningful task relatedness and avoid over-fitting in classification, we introduce sparsity in the domain transforms matrices, as well as in the common classifier. We derive theoretical bounds for the estimation error of the classifier in terms of the sparsity of domain transforms. An expectation-maximization algorithm is derived for learning the LPM. The effectiveness of the approach is demonstrated on several real datasets.

研究の動機と目的

• 異なる特徴空間を持つ異種ドメイン間で複数のタスクを学習する課題に対処すること。
• モデルパラメータに構造的スパース性を導入することで、クロスドメイン分類における過学習を軽減すること。
• 共通の潜在空間でドメイン固有の変換と共有分類器を同時に学習することで、一般化性能を向上させること。
• スパース行列としてドメイン変換をモデル化することで、意味的なタスク関連性を実現すること。
• 変換のスパース性に基づいた共有分類器の推定誤差に関する理論的保証を提供すること。

提案手法

• 複数の異種ドメインからのデータをスパースなドメイン変換を介して共通の潜在共通ドメインにマッピングする潜在プロビットモデル（LPM）を提案する。
• 共通ドメインにおける分類タスクを、スパース性を誘導する事前分布を備えたプロビット分類器でモデル化する。
• 一般化性能と解釈可能性の向上を図るため、ドメイン変換行列と共有分類器の重みの両方にスパース性を課す。
• 潜在変数の事後分布の期待値を計算するEステップと、スパース制約付きのモデルパラメータの更新を行うMステップを含む、期待値最大化（EM）アルゴリズムを導出する。
• 階層ベイズ的事前分布を用いて変換行列と分類器の両方にスパース性を誘導し、自動的関連性決定を可能にする。
• EMを用いてモデルを最適化する。Eステップでは潜在変数の事後期待値を計算し、Mステップではスパース制約付きでモデルパラメータを更新する。

実験結果

リサーチクエスチョン

• RQ1 特徴空間が不一致する異種ドメイン間で、どのようにして知識を効果的に転送できるか？
• RQ2 ドメイン変換におけるスパース性が、共有分類器の推定誤差に与える影響は何か？
• RQ3 ドメイン変換と共有分類器を同時に学習することは、独立したモデルと比較してクロスドメイン分類性能を向上させ得るか？
• RQ4 低データ環境下での過学習を回避するため、どのようにしてタスク関連性をモデル化できるか？
• RQ5 変換のスパース性に基づいて、共有分類器の推定誤差にどのような理論的バウンドを確立できるか？

主な発見

• 提案されたLPMは、ベースラインのマルチタスク学習およびシングルタスク学習手法と比較して、複数の実世界データセットで優れた分類性能を達成した。
• 理論的分析により、共有分類器の推定誤差がドメイン変換のスパースレベルによってバウンドされることを示し、スパース性が一般化性能に果たす役割を裏付けた。
• ドメイン変換と共有分類器の両方にスパース性を導入することで、モデルの解釈性が向上し、過学習が低減された。
• EMアルゴリズムは安定的かつ効率的に収束し、モデルのすべての構成要素の同時最適化を可能にした。
• 実験結果により、ドメインデータが限られている場合や特徴空間が顕著に異なっている場合でも、一貫したクロスドメイン転移学習の向上が示された。
• ドメインが類似していない場合でも、共有潜在構造を介してタスク関連性を効果的に捉えることができた。