[论文解读] Adversarial random forests for density estimation and generative modeling

David Watson, Kristin Blesch+2 more|arXiv (Cornell University)|May 19, 2022

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文提出对抗性随机森林（ARFs），一种新颖的无监督方法，用于表格数据中的密度估计与合成数据生成。受生成对抗网络启发，ARFs 通过交替生成与判别反馈迭代提升密度估计，实现可证明的一致性，且推理速度比深度学习模型快达 100 倍，同时在基准数据集上的表现与最先进方法相当或更优。

ABSTRACT

We propose methods for density estimation and data synthesis using a novel form of unsupervised random forests. Inspired by generative adversarial networks, we implement a recursive procedure in which trees gradually learn structural properties of the data through alternating rounds of generation and discrimination. The method is provably consistent under minimal assumptions. Unlike classic tree-based alternatives, our approach provides smooth (un)conditional densities and allows for fully synthetic data generation. We achieve comparable or superior performance to state-of-the-art probabilistic circuits and deep learning models on various tabular data benchmarks while executing about two orders of magnitude faster on average. An accompanying $ exttt{R}$ package, $ exttt{arf}$, is available on $ exttt{CRAN}$.

研究动机与目标

• 开发一种快速、一致且可计算的联合密度估计方法，适用于具有混合连续与分类特征的表格数据。
• 实现完全的合成数据生成，保留统计特性，同时不暴露敏感信息。
• 克服现有基于树的模型的局限性，这些模型生成的密度不连续且缺乏生成能力。
• 通过结合随机森林的高效性与概率推理的可计算性，弥合概率电路与深度生成模型之间的差距。
• 提供一种在默认超参数下表现良好且几乎无需调优的方法。

提出的方法

• 该方法采用递归的对抗性训练过程，其中树模型交替生成合成数据，并通过判别器反馈进行优化以改进密度估计。
• 每棵树通过在其叶节点内拟合平滑密度估计器（如核密度估计或最大似然估计）来学习局部密度结构。
• 在最小假设下，该算法具有可证明的一致性，确保随着样本量增加，收敛至真实底层密度。
• 由此生成的森林可编译为概率电路，实现精确且高效的推理，包括边缘化与条件推理。
• 该方法天然支持混合数据类型，并支持无条件与条件密度估计。
• 该方法已实现为 R 包 arf，可在 CRAN 上获取，同时正在开发 Python 版本。

实验结果

研究问题

• RQ1 基于树的方法能否在混合特征类型的数据上实现平滑、一致且可计算的密度估计？
• RQ2 在随机森林中采用对抗性训练能否在无需大量超参数调优的情况下实现高质量的合成数据生成？
• RQ3 在速度、准确率与推理效率方面，对抗性随机森林相较于最先进深度生成模型与概率电路的性能如何？
• RQ4 ARFs 在异常检测、聚类与分类等下游任务中的泛化能力如何？
• RQ5 默认超参数对性能的影响如何？它们在有限样本下如何影响密度准确率与收敛性之间的权衡？

主要发现

• 对抗性随机森林在多种表格数据基准测试中，性能与最先进概率电路及深度学习模型相当或更优。
• 该方法平均比深度学习基线快约 100 倍，适用于资源受限环境。
• 在最小假设下，该模型具有可证明的一致性，确保在足够数据下收敛至真实密度。
• 通过将森林编译为概率电路，ARFs 支持精确且高效的概率推理，包括边缘化与条件推理。
• 该方法在默认超参数下表现良好，几乎无需调优，且在小样本与大样本数据集上均保持强劲性能。
• 该方法支持完全的合成数据生成，保留统计特性，同时不暴露个体层面信息，为真实数据共享提供一种隐私保护的替代方案。