[论文解读] Generalizing to Evolving Domains with Latent Structure-Aware Sequential Autoencoder

Tiexin Qin, Shiqi Wang+1 more|arXiv (Cornell University)|May 16, 2022

Data Stream Mining Techniques被引用 5

一句话总结

该论文提出了一种潜在结构感知的序列自编码器（LSSAE），以解决非平稳环境中持续领域漂移下的领域泛化问题。通过变分推断，利用时间感知的转移函数对协变量偏移和概念偏移进行解耦的潜在变量建模，LSSAE在未见的演化领域上实现了优越的泛化性能，在合成数据集和真实世界数据集上的表现优于现有的领域泛化方法。

ABSTRACT

Domain generalization aims to improve the generalization capability of machine learning systems to out-of-distribution (OOD) data. Existing domain generalization techniques embark upon stationary and discrete environments to tackle the generalization issue caused by OOD data. However, many real-world tasks in non-stationary environments (e.g. self-driven car system, sensor measures) involve more complex and continuously evolving domain drift, which raises new challenges for the problem of domain generalization. In this paper, we formulate the aforementioned setting as the problem of evolving domain generalization. Specifically, we propose to introduce a probabilistic framework called Latent Structure-aware Sequential Autoencoder (LSSAE) to tackle the problem of evolving domain generalization via exploring the underlying continuous structure in the latent space of deep neural networks, where we aim to identify two major factors namely covariate shift and concept shift accounting for distribution shift in non-stationary environments. Experimental results on both synthetic and real-world datasets show that LSSAE can lead to superior performances based on the evolving domain generalization setting.

研究动机与目标

• 解决现有领域泛化方法假设领域为平稳、离散的局限性，并在具有持续演化的现实非平稳环境中失效的问题。
• 形式化演化领域泛化的任务，其中协变量偏移和概念偏移随时间逐渐发生。
• 构建一个概率框架，捕捉序列领域间分布偏移的潜在连续结构。
• 通过模型的生成能力，实现对训练期间未出现过的未见目标领域的泛化。
• 同时解耦并建模分布偏移的两个关键因素——采样偏差（协变量偏移）和类别级概念漂移（概念偏移）。

提出的方法

• 提出一种动态概率框架LSSAE，利用变分推断建模表示领域特异性（协变量）和类别特异性（概念）偏移的潜在变量。
• 引入两个独立的潜在变量：一个用于协变量偏移（与领域相关），一个用于概念偏移（与类别相关），每个变量均具有时间依赖的转移函数。
• 设计与领域相关的模块和与类别相关的模块，基于时间戳推断潜在变量的动态演化，以捕捉连续的领域漂移。
• 使用变分自编码器目标和近似推理进行端到端训练，学习潜在因子的联合后验分布。
• 利用学习到的潜在空间从未见的目标领域生成样本，展示模型在序列数据上的生成能力。
• 将该框架应用于合成数据集和真实世界数据集（包括Sine-C和PowerSupply），以评估泛化性能和生成性能。

实验结果

研究问题

• RQ1 深度生成模型能否有效捕捉并解耦非平稳环境中的持续领域漂移？
• RQ2 当仅在具有演化分布的序列源领域上进行训练时，模型在未见目标领域上的泛化能力如何？
• RQ3 所提出的框架在统一潜在空间中同时建模协变量偏移和概念偏移的程度如何？
• RQ4 与现有领域泛化方法相比，潜在因子的解耦是否能提升泛化性能？
• RQ5 所学习的模型能否生成未见演化领域的逼真样本，从而体现所学表征的鲁棒性和表达能力？

主要发现

• 在Sine-C数据集上，LSSAE在演化领域泛化基准上达到最先进性能，平均准确率达到44.8%，显著优于最佳基线方法（34.0%）。
• 在PowerSupply数据集上，LSSAE达到71.1%的平均准确率，略高于最佳基线（71.0%），展现出对未见领域的强大泛化能力。
• 通过学习到的潜在轨迹的定性分析，验证了LSSAE成功解耦并建模了协变量偏移和概念偏移。
• 模型展现出强大的生成能力，能够生成未见目标领域的逼真样本，支持其在序列数据生成任务中的实用性。
• 在Sine-C和PowerSupply数据集的多种未见目标领域上，LSSAE保持了稳定的性能，表明其对分布偏移具有鲁棒性。
• 消融实验确认，同时建模两个潜在因子（领域和类别）至关重要，移除任一组件均导致性能显著下降。