[论文解读] Visual Evaluation of Generative Adversarial Networks for Time Series Data

Hiba Arnout, Johannes Kehrer+2 more|arXiv (Cornell University)|Dec 23, 2019

Generative Adversarial Networks and Image Synthesis被引用 9

一句话总结

本文提出了一种用于评估时间序列数据生成中生成对抗网络（GAN）的视觉分析框架，结合两种交互式视图——GAN迭代视图与详细对比视图——并辅以距离度量和可视化技术（如Colorfield与TimeHistograms）。该框架使机器学习专家能够检测模式崩溃、评估数据多样性，并识别最优训练迭代，从而提升对下游人工智能应用中GAN生成时间序列的信任度。

ABSTRACT

A crucial factor to trust Machine Learning (ML) algorithm decisions is a good representation of its application field by the training dataset. This is particularly true when parts of the training data have been artificially generated to overcome common training problems such as lack of data or imbalanced dataset. Over the last few years, Generative Adversarial Networks (GANs) have shown remarkable results in generating realistic data. However, this ML approach lacks an objective function to evaluate the quality of the generated data. Numerous GAN applications focus on generating image data mostly because they can be easily evaluated by a human eye. Less efforts have been made to generate time series data. Assessing their quality is more complicated, particularly for technical data. In this paper, we propose a human-centered approach supporting a ML or domain expert to accomplish this task using Visual Analytics (VA) techniques. The presented approach consists of two views, namely a GAN Iteration View showing similarity metrics between real and generated data over the iterations of the generation process and a Detailed Comparative View equipped with different time series visualizations such as TimeHistograms, to compare the generated data at different iteration steps. Starting from the GAN Iteration View, the user can choose suitable iteration steps for detailed inspection. We evaluate our approach with a usage scenario that enabled an efficient comparison of two different GAN models.

研究动机与目标

• 为解决时间序列数据生成中GAN缺乏客观评估方法的问题，尤其是在技术性与非图像领域。
• 支持机器学习与领域专家通过可视化手段评估生成时间序列在训练迭代过程中的质量与真实性。
• 通过交互式可视化检查，检测常见的GAN失败模式，如模式崩溃与数据多样性差。
• 通过识别最佳性能的迭代与数据分布保真度，实现对多个GAN模型的高效比较。
• 提供以人为本的评估框架，提升GAN生成数据在训练可靠AI模型过程中的可信度。

提出的方法

• 该框架采用GAN迭代视图，可视化真实与生成时间序列在训练迭代过程中的相似性度量。
• 详细对比视图利用Colorfield与TimeHistogram可视化技术，实现真实与生成时间序列的并排对比。
• 应用主成分分析（PCA）对时间序列样本进行排序，以促进有效并置与模式识别。
• 使用能量距离（ED）度量计算最近邻距离（输入与输出距离），量化真实数据与生成数据之间的分布相似性。
• 用户可从GAN迭代视图导航至选定样本视图，对特定时间序列对进行深入检查。
• 系统支持迭代式探索，以识别生成数据在分布与多样性方面最接近真实数据的最优训练迭代。

实验结果

研究问题

• RQ1 如何有效结合视觉分析技术与距离度量，以评估GAN生成时间序列的质量？
• RQ2 交互式可视化能否帮助机器学习专家检测GAN输出中的模式崩溃与数据多样性差？
• RQ3 相似性度量在训练迭代过程中的演变如何支持最优GAN模型参数的选择？
• RQ4 时间序列分布的视觉对比在多大程度上能揭示真实感与分布保真度的差异？
• RQ5 视觉分析如何提升GAN生成数据在真实世界机器学习应用中的可信度？

主要发现

• 机器学习专家识别出模型1的第978轮与模型2的第926轮为最优迭代，此时生成的时间序列展现出最高真实感与平滑性。
• 模型1显示出模式崩溃的迹象，生成样本集中于中位数附近且缺乏多样性，这一现象在Colorfield视图中由低最近邻距离所证实。
• 模型2采用正态噪声与小批量判别机制，成功再现了真实数据的分布范围与时间上的动态变化，包括罕见模式。
• TimeHistograms显示，模型1生成的数据过于集中于第68百分位数，而模型2的数据更接近真实数据的分布。
• 选定样本视图支持直接视觉对比，确认模型2生成的时间序列在行为与变异性方面与真实数据高度一致。
• 该框架成功支持专家检测训练问题，并选择出具有更高数据保真度的可信GAN模型。