[論文レビュー] Learning latent representations across multiple data domains using Lifelong VAEGAN

Fei Ye, Adrian G. Borş|arXiv (Cornell University)|Jul 20, 2020

Generative Adversarial Networks and Image Synthesis参考文献 63被引用数 8

ひとこと要約

本論文では、変分オートエンコーダー（VAEs）と生成対抗ネットワーク（GANs）を統合することで、複数のデータドメインにわたる継続的学習において、深刻な忘却を軽減するとともに、分離可能で意味的に意味のある潜在表現を学習する、新しい生涯学習フレームワーク、Lifelong VAEGAN（L-VAEGAN）を提案する。推論モデルと強力な生成リプレイ機構を統合することで、L-VAEGANはドメイン間の補間と推論を可能にし、教師ありおよび半教師あり設定において、既存の生成リプレイ手法を上回る性能を発揮する。

ABSTRACT

The problem of catastrophic forgetting occurs in deep learning models trained on multiple databases in a sequential manner. Recently, generative replay mechanisms (GRM), have been proposed to reproduce previously learned knowledge aiming to reduce the forgetting. However, such approaches lack an appropriate inference model and therefore can not provide latent representations of data. In this paper, we propose a novel lifelong learning approach, namely the Lifelong VAEGAN (L-VAEGAN), which not only induces a powerful generative replay network but also learns meaningful latent representations, benefiting representation learning. L-VAEGAN can allow to automatically embed the information associated with different domains into several clusters in the latent space, while also capturing semantically meaningful shared latent variables, across different data domains. The proposed model supports many downstream tasks that traditional generative replay methods can not, including interpolation and inference across different data domains.

研究の動機と目的

• 複数のデータドメインに順次学習させたディープラーニングモデルにおける深刻な忘却を解消すること。
• 既存の生成リプレイ手法が推論機能と意味的な潜在表現を欠いているという制限を克服すること。
• 共有され、意味的に意味のある潜在変数を発見することによって、ドメイン間の表現学習を可能にすること。
• 統一された生成および推論フレームワークを通じて、ドメイン間補間や推論を含む多様な下流タスクをサポートすること。
• 人工生涯学習システムにおける生成リプレイの理論的根拠に基づいたアプローチを提供すること。

提案手法

• L-VAEGANは、VAEに基づく推論ネットワークと、GANに基づく生成器を統合し、分離可能な潜在表現の学習と高品質なリプレイサンプルの生成を同時に実現する。
• モデルの学習に向け、推論ネットワークと生成モデルの更新を交互に繰り返す2段階最適化アルゴリズムを提案する。
• 教師あり・半教師あり・教師なし学習の設定で、データ分布を複数のドメインにわたって同時にモデリングすることで、データ空間および潜在空間の両方で敵対的訓練を用いて、タスク固有および共有の潜在要因を学習する。
• 生成リプレイは、訓練済みの生成器からサンプリングすることで、継続的学習中に過去の知識を再構築することによって実装される。
• 最小限のアーキテクチャ変更で、教師あり、半教師あり、教師なし学習をサポートする。
• 潜在空間における正則化、特にKLダイバージェンスと全相関ペナルティを用いて、分離性を促進する。

実験結果

リサーチクエスチョン

• RQ1 生涯学習モデルは、深刻な忘却を伴わず、意味的な潜在表現を共同で学習し、効果的な生成リプレイを実行できるか？
• RQ2 継続的学習の文脈において、複数のデータドメインにまたがる共有され、意味的に意味のある潜在変数をどのように発見できるか？
• RQ3 既存の生成リプレイ手法と比較して、提案手法はドメイン間推論および補間をどの程度効果的にサポートできるか？
• RQ4 L-VAEGANフレームワークは、継続的学習下で半教師ありおよび教師あり学習タスクにおいても高い性能を維持できるか？
• RQ5 生成リプレイの文脈において、リスクバウンドと一般化性能の理論的関係は何か？

主な発見

• L-VAEGANは、MNISTからFashionへの生涯学習ベンチマークにおいて、半教師あり分類誤差4.34％を達成し、LGAN（5.46％）を上回り、最先端の非生涯学習モデルと同等の性能を示した。
• 忘却曲線解析による安定した正答率曲線の結果から、継続的学習中に過去のタスクの性能が著しく低下せず、最小限の忘却を維持したことが確認された。
• 既存のGRM手法が対応できないのに対し、L-VAEGANは学習済みの共有潜在変数のおかげで、ドメイン間補間と推論を成功裏に実現した。
• 理論的解析により、訓練全体を通してリスクバウンド $E(h^1(μ_1))$ が $E(h^1(μ_1'))$ に近く、かつ有界であることが確認され、安定した一般化性能が示された。
• 生成リプレイサンプルの品質が性能に顕著に影響し、L-VAEGANはVAEベースのベースライン（LGMなど）よりも高品質な画像を生成し、忘却の軽減効果が顕著に向上した。
• MNIST-MNISTの生涯学習設定において、観測されたリスクバウンド $E(h^1(μ_1))$ は訓練に伴い徐々に増加し、実データ分布と生成データ分布の間の整合性向上を反映していた。