[論文レビュー] Deep Variational Transfer: Transfer Learning through Semi-supervised Deep Generative Models

Marouan Belhaj, Pavlos Protopapas+1 more|arXiv (Cornell University)|Dec 7, 2018

Domain Adaptation and Few-Shot Learning参考文献 23被引用数 4

ひとこと要約

本稿では、同一クラスの教師あり例を共有される潜在ガウス・ミックスチャネルに一致させつつ、ラベルなしのターゲットデータを活用して共変量、事前分布、条件付き分布のずれを是正することにより、異種ドメイン間での転移学習を可能にする半教師あり深層生成モデル、Deep Variational Transfer (DVT) を提案する。DVT は MNIST の半教師あり学習で最先端の性能を達成し、EROS や MACHO、HiTS といった天文学的データセットにおいても、レアクラスの F1 スコアを倍増させるなど、顕著な向上を示す。

ABSTRACT

In real-world applications, it is often expensive and time-consuming to obtain labeled examples. In such cases, knowledge transfer from related domains, where labels are abundant, could greatly reduce the need for extensive labeling efforts. In this scenario, transfer learning comes in hand. In this paper, we propose Deep Variational Transfer (DVT), a variational autoencoder that transfers knowledge across domains using a shared latent Gaussian mixture model. Thanks to the combination of a semi-supervised ELBO and parameters sharing across domains, we are able to simultaneously: (i) align all supervised examples of the same class into the same latent Gaussian Mixture component, independently from their domain; (ii) predict the class of unsupervised examples from different domains and use them to better model the occurring shifts. We perform tests on MNIST and USPS digits datasets, showing DVT's ability to perform transfer learning across heterogeneous datasets. Additionally, we present DVT's top classification performances on the MNIST semi-supervised learning challenge. We further validate DVT on a astronomical datasets. DVT achieves states-of-the-art classification performances, transferring knowledge across real stars surveys datasets, EROS, MACHO and HiTS, . In the worst performance, we double the achieved F1-score for rare classes. These experiments show DVT's ability to tackle all major challenges posed by transfer learning: different covariate distributions, different and highly imbalanced class distributions and different feature spaces.

研究の動機と目的

• 限られたラベル付きデータを伴う現実世界のシナリオにおいて、共変量、事前分布、条件付き分布のずれを含む一般化されたデータセットのずれの下での転移学習の課題に対処すること。
• 異なる特徴空間を有する高次元の異種データと不均衡なクラス分布を扱えない既存の非教師あり転移学習手法の限界を克服すること。
• 共有される潜在空間を通じて教師ありおよび非教師ありデータを統合的にモデリングすることにより、ラベル付きソースドメインからラベルなしターゲットドメインへの有効な知識転送を可能にすること。
• ラベルなしターゲットデータを活用して潜在表現と分類器の予測を精緻化することで、不均衡データセットにおけるレアクラスの分類性能を向上させること。

提案手法

• 各クラスが固有の GMM コンポーネントにマッピングされる、ソースドメインおよびターゲットドメインに共通する潜在ガウス・ミックスチャネル（GMM）を備えた変分オートエンコーダフレームワークを提案する。
• 再構成損失、事後分布と事前分布のKLダイバージェンス、および分類器損失を組み合わせた半教師ありエビデンス下界（ELBO）を用い、ラベル付きおよびラベルなしデータを同時に学習する。
• エンコーダおよび分類器ネットワークにおける共有パラメータを通じて、異種ドメイン間の同一クラスの教師あり例が同じ GMM コンポーネントに一致するように制約を課す。
• 潜在表現 $ \boldsymbol{z} $ に対して訓練されたドメイン固有の分類器 $ q_{\theta}(y|\boldsymbol{z}) $ を活用し、ラベルなしターゲットデータのラベルを予測するとともに、適切な GMM コンポーネントへその埋め込みをガイドする。
• 離散的潜在変数の勾配を効果的にバックプロパゲート可能にするために、Gumbel-Softmax の緩和と再パラメータ化トリックを適用する。
• 分類器における argmax 操作の非微分性を補うために、Gumbel-Softmax のストレートスラッシュ推定器を用い、モデル全体のエンドツーエンド最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 特徴空間が異なり、共変量のずれやクラスの不均衡を伴うドメイン間で、半教師あり深層生成モデルが有効に知識を転送できるか。
• RQ2 MNIST と USPS のような異種データセット間で、共有される潜在 GMM 構造が、同一クラスの例をどれほど正確に一致させられるか。
• RQ3 データセットのずれが存在する中で、ラベルなしターゲットデータが、特に稀なクラスの分類性能をどの程度向上できるか。
• RQ4 提案手法が、半教師あり学習ベンチマークおよび実世界の天文学的データセットにおいて、既存の最先端手法を上回る性能を示すか。
• RQ5 マルチサーベイ天体分類のような、顕著なドメインのずれを伴う高次元で複雑なデータに対しても、モデルが一般化可能か。

主な発見

• DVT は、ラベル付きデータが限られた状況下でも強力な一般化性能を示し、MNIST の半教師あり学習ベンチマークで最先端の性能を達成した。
• 天文学的データセット（EROS, MACHO, HiTS）において、DVT は分類性能を顕著に向上させ、ベースライン手法と比較して、最も悪いレアクラスの F1 スコアを倍増させた。
• 共有される潜在空間でラベル付きおよびラベルなしデータを統合的にモデリングすることにより、DVT は共変量、事前分布、条件付き分布の3つのタイプのデータセットのずれを効果的に処理した。
• 同一クラスの教師あり例が異種ドメイン間で同じ GMM コンポーネントに一致するようにすることで、DVT はドメインのずれの影響を低減し、未学習のターゲットドメインへのゼロショット一般化性能を向上させた。
• ラベルなしターゲットデータを活用して潜在空間のクラスタリングをガイドすることで、モデルのロバストネスと一般化性能が向上し、特にデータが少ない状況や不均衡な設定において顕著であった。
• Gumbel-Softmax の再パラメータ化により、離散的潜在変数を通じた効果的なバックプロパゲートが可能となり、分類器と潜在空間における非微分的演算が存在する中でも、モデル全体のエンドツーエンド学習が可能になった。