[论文解读] Deep Distributional Sequence Embeddings Based on a Wasserstein Loss

Ahmed Abdel‐Wahab, Niels Landwehr|arXiv (Cornell University)|Dec 4, 2019

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

该论文提出了一种基于分位数层的深度分布序列嵌入方法，用于捕捉序列中深层特征的分布，采用基于Wasserstein距离的新型损失函数实现端到端度量学习。该方法在眼动、步态和EEG数据的生物特征识别任务中，优于标准向量嵌入及其他距离度量方法。

ABSTRACT

Deep metric learning employs deep neural networks to embed instances into a metric space such that distances between instances of the same class are small and distances between instances from different classes are large. In most existing deep metric learning techniques, the embedding of an instance is given by a feature vector produced by a deep neural network and Euclidean distance or cosine similarity defines distances between these vectors. In this paper, we study deep distributional embeddings of sequences, where the embedding of a sequence is given by the distribution of learned deep features across the sequence. This has the advantage of capturing statistical information about the distribution of patterns within the sequence in the embedding. When embeddings are distributions rather than vectors, measuring distances between embeddings involves comparing their respective distributions. We propose a distance metric based on Wasserstein distances between the distributions and a corresponding loss function for metric learning, which leads to a novel end-to-end trainable embedding model. We empirically observe that distributional embeddings outperform standard vector embeddings and that training with the proposed Wasserstein metric outperforms training with other distance functions.

研究动机与目标

• 开发一种用于可变长度序列的深度度量学习框架，以捕捉学习特征的分布模式。
• 通过将序列表示为时间维度上深层特征的分布，解决标准向量嵌入的局限性。
• 通过可微的基于Wasserstein距离的损失函数，实现分布嵌入的端到端训练。
• 提升在生物特征识别与验证任务中的性能，特别是在开放集和少样本条件下。
• 在真实世界生物特征数据中，证明分布嵌入相较于标准向量嵌入及其他距离度量方法的优越性。

提出的方法

• 使用分位数层近似序列中深层特征激活的样本分位数函数，为每个序列生成分布嵌入。
• 将每个序列表示为学习滤波器激活上的分位数估计分布集合，从而实现对时间模式的统计表征。
• 采用分段线性近似方法对分位数函数进行近似，以确保可微性并实现梯度在嵌入层中的反向传播。
• 将分布嵌入之间的Wasserstein距离定义为嵌入空间中的距离度量，以尊重激活空间的底层度量结构。
• 推导出两个分段线性分位数函数之间Wasserstein距离的闭式解，以支持高效的反向传播。
• 使用基于Wasserstein距离的对比损失端到端训练整个模型，优化类内紧凑性和类间分离性。

实验结果

研究问题

• RQ1 基于分位数估计特征分布的分布嵌入是否能提升深度度量学习中序列的表征能力？
• RQ2 将Wasserstein距离作为分布嵌入之间的度量，是否能比传统的距离函数（如余弦或欧氏距离）带来更好的泛化性能？
• RQ3 与基于标准向量的嵌入相比，该方法在可变长度序列的生物特征识别任务中表现如何？
• RQ4 该模型在未见类别上的泛化能力如何？在开放集识别场景中对冒名顶替者（imposters）的处理能力如何？
• RQ5 在不同序列数据类型（如眼动、步态、EEG）中，使用分位数层结合Wasserstein损失是否能持续带来性能提升？

主要发现

• 基于分位数层的分布嵌入在眼动、步态和EEG三个数据领域中，均显著优于标准向量嵌入。
• 在EEG领域，当n=5个测试序列时，所提出的基于Wasserstein的损失（QP-WL）相比次优基线（QP-NPL）将1-AUC降低了高达80%。
• 在步态领域，QP-WL在识别准确率和对多类冒名顶替者的鲁棒性方面优于所有基线方法，尤其在注册受试者数量增加时表现更优。
• 即使在数据被简化（如时间分辨率降低）的情况下，模型仍保持强性能，且在相同简化数据上优于专门的微跳动检测模型（Jager et al., 2019）。
• 使用分位数层而非最大池化可提升性能，且结合Wasserstein损失的度量学习进一步优于基于分类的训练方法。
• 该模型在未见类别上表现出强泛化能力，在开放集场景下具有鲁棒性，且在所有领域中均在冒名顶替者检测方面具有明显优势。