[論文レビュー] Generalizing to Evolving Domains with Latent Structure-Aware Sequential Autoencoder

Tiexin Qin, Shiqi Wang+1 more|arXiv (Cornell University)|May 16, 2022

Data Stream Mining Techniques被引用数 5

ひとこと要約

本稿では、連続的なドメインドリフトを伴う非定常環境における段階的ドメイン一般化を解決するため、潜在的構造を考慮した順序付きオートエンコーダー（LSSAE）を提案する。変分推論を用いて時刻に依存する遷移関数を持つ分離された潜在変数により、共変量シフトとコンセプトシフトをモデル化することで、未観測の進化するドメインにおいて優れた一般化性能を達成し、合成および実世界のデータセットにおいて既存のドメイン一般化手法を上回る性能を示す。

ABSTRACT

Domain generalization aims to improve the generalization capability of machine learning systems to out-of-distribution (OOD) data. Existing domain generalization techniques embark upon stationary and discrete environments to tackle the generalization issue caused by OOD data. However, many real-world tasks in non-stationary environments (e.g. self-driven car system, sensor measures) involve more complex and continuously evolving domain drift, which raises new challenges for the problem of domain generalization. In this paper, we formulate the aforementioned setting as the problem of evolving domain generalization. Specifically, we propose to introduce a probabilistic framework called Latent Structure-aware Sequential Autoencoder (LSSAE) to tackle the problem of evolving domain generalization via exploring the underlying continuous structure in the latent space of deep neural networks, where we aim to identify two major factors namely covariate shift and concept shift accounting for distribution shift in non-stationary environments. Experimental results on both synthetic and real-world datasets show that LSSAE can lead to superior performances based on the evolving domain generalization setting.

研究の動機と目的

• 定常的で離散的なドメインを仮定する既存のドメイン一般化手法の限界を解決し、連続的な進化を示す現実世界の非定常環境で機能しない問題に対処する。
• 共変量シフトとコンセプトシフトが時間とともに段階的に進行する、進化するドメイン一般化の問題を定式化する。
• 順序付きドメインにおける分布シフトの背後にある連続的潜在構造を捉える確率的フレームワークを構築する。
• 学習中に存在しなかった未観測のターゲットドメインへの一般化を、モデルの生成能力を活用して実現する。
• 採択された潜在要因を同時に分離し、モデリングする——サンプリングバイアス（共変量シフト）とカテゴリーレベルのコンセプトドリフト（コンセプトシフト）を分離する。

提案手法

• ドメイン固有（共変量）およびクラス固有（コンセプト）のシフトを表す潜在変数をモデル化する動的確率的フレームワーク、LSSAEを提案する。変分推論を用いる。
• 共変量シフト（ドメイン関連）とコンセプトシフト（カテゴリ関連）のそれぞれに別々の潜在変数を導入し、各々に時間依存の遷移関数を設ける。
• 時刻の情報に基づいて、潜在変数の動的進化を捉えるドメイン関連およびカテゴリ関連のモジュールを設計する。これにより、連続的ドメインドリフトを捉える。
• アンモラライズド推論を用いた変分オートエンコーダーの目的関数で学習を実施し、潜在要因の同時後方分布をエンドツーエンドで学習可能にする。
• 学習された潜在空間を活用して、未観測のターゲットドメインからのサンプルを生成し、順序付きデータに対する生成能力を実証する。
• Sine-C や PowerSupply を含む合成および実世界のデータセットに本フレームワークを適用し、一般化性能および生成性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルは、非定常環境における連続的ドメインドリフトを効果的に捉え、分離できるか？
• RQ2 学習時に順序付きのソースドメイン（分布が進化する）しか見ない状況下で、モデルは未観測のターゲットドメインにどれほど一般化できるか？
• RQ3 提案されたフレームワークは、統一された潜在空間内で共変量シフトとコンセプトシフトの両方をどの程度同時にモデル化できるか？
• RQ4 潜在要因の分離が、既存のドメイン一般化手法と比較して一般化性能を向上させるか？
• RQ5 学習されたモデルは、未観測の進化するドメインから現実的なサンプルを生成できるか？これは、学習された表現の強靭性と表現力の証左となる。

主な発見

• LSSAEは、Sine-C データセットにおいて、平均正解率44.8%を達成し、最も優れたベースライン（34.0%）を上回り、進化するドメイン一般化ベンチマークで最先端の性能を示した。
• PowerSupply データセットでは、平均正解率71.1%を達成し、最も優れたベースライン（71.0%）をわずかに上回り、未観測ドメインへの一般化性能が優れていることを示した。
• LSSAEは、学習された潜在軌道の定性的分析により、共変量シフトとコンセプトシフトの両方を効果的に分離・モデル化していることが検証された。
• モデルは強力な生成能力を示し、未観測のターゲットドメインからの現実的なサンプルを生成でき、順序付きデータ生成タスクにおける実用性を裏付けた。
• Sine-C および PowerSupply データセットにおいて、多様なターゲットドメインにわたり安定した性能を維持しており、分布シフトに対して強い耐性を示した。
• アブレーションスタディにより、ドメインおよびカテゴリの両方の潜在要因をモデル化することが不可欠であることが確認され、いずれかのコンponentを削除すると顕著な性能低下が生じた。