[论文解读] HexaGAN: Generative Adversarial Nets for Real World Classification

Uiwon Hwang, Dahuin Jung+1 more|arXiv (Cornell University)|Feb 26, 2019

Machine Learning and Data Classification被引用 14

一句话总结

HexaGAN 是一种新颖的生成对抗网络框架，通过将缺失数据填补、类别不平衡和缺失标签问题统一建模为缺失信息恢复问题，联合解决现实世界分类中的三大挑战。该框架整合了六个专用 GAN 组件及定制损失函数，在缺失率为 20% 的情况下，填补性能最高提升 14%，F1 分数最高提升 5%，优于级联的 SOTA 方法。

ABSTRACT

Most deep learning classification studies assume clean data. However, when dealing with the real world data, we encounter three problems such as 1) missing data, 2) class imbalance, and 3) missing label problems. These problems undermine the performance of a classifier. Various preprocessing techniques have been proposed to mitigate one of these problems, but an algorithm that assumes and resolves all three problems together has not been proposed yet. In this paper, we propose HexaGAN, a generative adversarial network framework that shows promising classification performance for all three problems. We interpret the three problems from a single perspective to solve them jointly. To enable this, the framework consists of six components, which interact with each other. We also devise novel loss functions corresponding to the architecture. The designed loss functions allow us to achieve state-of-the-art imputation performance, with up to a 14% improvement, and to generate high-quality class-conditional data. We evaluate the classification performance (F1-score) of the proposed method with 20% missingness and confirm up to a 5% improvement in comparison with the performance of combinations of state-of-the-art methods.

研究动机与目标

• 同时解决现实世界分类中的三大核心挑战——缺失数据、类别不平衡与缺失标签，因为现有方法通常孤立处理这些问题。
• 克服级联预处理流水线的局限性，避免因误差传播和次优数据处理导致的性能下降。
• 开发一种统一的深度生成框架，从单一视角（即缺失信息恢复）建模所有三个问题。
• 在高缺失率下，特别是在低数据场景中，实现高质量、类别条件的数据生成与鲁棒的填补。
• 通过端到端可训练的生成建模与判别分类的联合优化，实现最先进的分类性能。

提出的方法

• HexaGAN 使用六个神经网络：两个生成器（G_MI 用于填补，G_CG 用于类别条件生成），两个判别器（D_MI 用于缺失数据，D_CG 用于条件生成），以及两个分类器（C 用于标签预测，C' 用于一致性校验）。
• 该框架采用统一视角：所有三个问题——缺失特征、类别不平衡与缺失标签——均被视为需重建的缺失信息实例。
• 设计了新型损失函数：重建损失（R）、对抗损失（D_x_i 和 D_y）与交叉熵损失（CE），实现所有组件的联合优化。
• 通过 G_MI 执行缺失数据填补，利用噪声填充掩码特征，并学习完整数据分布。
• 通过条件生成（G_CG）生成完整数据实例，条件于类别标签，从而有效对少数类别进行过采样。
• 通过 D_MI 和 C 实现半监督学习，利用未标记数据预测缺失标签，提升泛化能力。

实验结果

研究问题

• RQ1 单一生成框架能否联合解决现实世界分类中的缺失数据填补、类别不平衡与缺失标签问题？
• RQ2 将所有三个问题统一建模为缺失信息恢复，相较于级联的 SOTA 方法，能否显著提升填补与分类性能？
• RQ3 在高缺失率下，尤其是数据稀疏时，HexaGAN 的鲁棒性如何？
• RQ4 通过对抗训练集成条件生成与标签预测，是否能带来优于孤立预处理步骤的泛化性能？
• RQ5 定制损失函数在提升数据填补与下游分类性能方面发挥了何种作用？

主要发现

• 与 SOTA 方法相比，HexaGAN 在填补性能上最高提升 14%，证明其具备更优的数据恢复质量。
• 在 20% 缺失率下，HexaGAN 的 F1 分数相比 GAIN、SMOTE 和 TripleGAN 等 SOTA 方法的级联组合最高提升 5%。
• 消融研究证实，G_MI、G_CG 和 D_MI 三个组件均具有显著贡献，移除任一组件后性能最高下降 36%。
• 在信用数据集上，HexaGAN 在所有缺失率下均优于基线方法，尤其在高缺失率（如 50%）时性能差距更大，表明其具备强鲁棒性。
• 该方法在不平衡数据集（如信用、乳腺癌）与平衡数据集（如 madelon）上均保持优异性能，显示出对不同数据分布的广泛泛化能力。
• 该框架可与任意 SOTA 分类器实现即插即用兼容，当与 HexaGAN 集成时，分类器性能可达到其最高可能水平。