[论文解读] Meta-Learning for Relative Density-Ratio Estimation

Atsutoshi Kumagai, Tomoharu Iwata+1 more|arXiv (Cornell University)|Jul 2, 2021

Anomaly Detection Techniques and Applications参考文献 47被引用 4

一句话总结

该论文提出了一种用于相对密度比估计（DRE）的元学习框架，通过利用相关源数据集的知识，实现从少样本实例中进行准确估计。该方法采用基于神经网络的实例嵌入和可微分的闭式线性模型，实现快速、稳定的适应，在相对DRE、数据集比较和异常检测任务中优于现有方法。

ABSTRACT

The ratio of two probability densities, called a density-ratio, is a vital quantity in machine learning. In particular, a relative density-ratio, which is a bounded extension of the density-ratio, has received much attention due to its stability and has been used in various applications such as outlier detection and dataset comparison. Existing methods for (relative) density-ratio estimation (DRE) require many instances from both densities. However, sufficient instances are often unavailable in practice. In this paper, we propose a meta-learning method for relative DRE, which estimates the relative density-ratio from a few instances by using knowledge in related datasets. Specifically, given two datasets that consist of a few instances, our model extracts the datasets' information by using neural networks and uses it to obtain instance embeddings appropriate for the relative DRE. We model the relative density-ratio by a linear model on the embedded space, whose global optimum solution can be obtained as a closed-form solution. The closed-form solution enables fast and effective adaptation to a few instances, and its differentiability enables us to train our model such that the expected test error for relative DRE can be explicitly minimized after adapting to a few instances. We empirically demonstrate the effectiveness of the proposed method by using three problems: relative DRE, dataset comparison, and outlier detection.

研究动机与目标

• 解决在两个分布中仅能获得少量样本时的相对密度比估计挑战。
• 实现在支持实例极少的情况下，从相关源数据集向未见目标数据集有效迁移知识。
• 开发一种可微分的闭式解法用于相对DRE，支持通过梯度下降进行端到端训练。
• 通过元学习显式最小化适应后的期望测试误差。
• 在异常检测和数据集比较等多样化应用中展示鲁棒性能。

提出的方法

• 使用排列不变的神经网络将每个数据集编码为潜在向量表示，基于其支持实例。
• 利用各自数据集的潜在向量将单个实例映射到嵌入空间，实现基于实例的自适应。
• 在嵌入空间中将相对密度比建模为线性函数，通过闭式解法求解，以保证稳定性和速度。
• 通过最小化适应后相对DRE的期望测试误差，使用基于梯度的优化方法对整个模型进行端到端训练。
• 采用元学习范式，所有数据集共享参数，实现从源任务到目标任务的知识迁移。
• 利用可微分的闭式解法，使反向传播能够通过自适应过程，实现对泛化性能的显式优化。

实验结果

研究问题

• RQ1 当两个分布中仅能获得少量样本时，元学习是否能提升相对密度比估计性能？
• RQ2 从相关源数据集中迁移知识，能否有效支持在未见目标数据集上实现少样本相对DRE？
• RQ3 在嵌入空间中，线性模型的可微分闭式解法是否相比数值优化能带来更好的泛化性能和更快的适应速度？
• RQ4 在不同数据分布下，该方法与现有DRE和异常检测方法相比，在鲁棒性和性能方面表现如何？
• RQ5 潜在嵌入函数和自适应机制等架构组件对整体性能有何影响？

主要发现

• 所提方法在所有基准数据集的异常检测任务中平均AUC达到75.27%，优于全部13种对比方法。
• 在IoT数据集上，仅使用少量正常支持样本，该方法即达到96.94%的AUC，展现出强大的少样本泛化能力。
• 消融研究显示，若移除潜在嵌入函数（NoLatent），平均AUC降至74.70%，证实其重要性。
• 该方法优于最先进PU学习方法，并在不同相对参数α值下均表现出鲁棒性。
• 闭式解法相比数值优化实现了更快、更稳定的适应，且由于可微分训练，泛化性能更优。
• 该模型在相对DRE和数据集比较任务中均达到最先进性能，验证了其在多种应用中的有效性。