[論文レビュー] Visual Evaluation of Generative Adversarial Networks for Time Series Data

Hiba Arnout, Johannes Kehrer+2 more|arXiv (Cornell University)|Dec 23, 2019

Generative Adversarial Networks and Image Synthesis被引用数 9

ひとこと要約

本稿では、時系列データ生成における生成対抗ネットワーク（GAN）の評価を目的としたビジュアルアナリティクスフレームワークを提案する。2つのインタラクティブなビュー（GANイテレーションビューと詳細比較ビュー）に加え、距離指標とカラーフィールドやタイムヒストограмなどの可視化技術を組み合わせた。このフレームワークにより、機械学習専門家はモード崩壊の検出、データの多様性の評価、最適な訓練イテレーションの特定が可能となり、将来的なAI応用分野におけるGAN生成時系列データへの信頼性が向上する。

ABSTRACT

A crucial factor to trust Machine Learning (ML) algorithm decisions is a good representation of its application field by the training dataset. This is particularly true when parts of the training data have been artificially generated to overcome common training problems such as lack of data or imbalanced dataset. Over the last few years, Generative Adversarial Networks (GANs) have shown remarkable results in generating realistic data. However, this ML approach lacks an objective function to evaluate the quality of the generated data. Numerous GAN applications focus on generating image data mostly because they can be easily evaluated by a human eye. Less efforts have been made to generate time series data. Assessing their quality is more complicated, particularly for technical data. In this paper, we propose a human-centered approach supporting a ML or domain expert to accomplish this task using Visual Analytics (VA) techniques. The presented approach consists of two views, namely a GAN Iteration View showing similarity metrics between real and generated data over the iterations of the generation process and a Detailed Comparative View equipped with different time series visualizations such as TimeHistograms, to compare the generated data at different iteration steps. Starting from the GAN Iteration View, the user can choose suitable iteration steps for detailed inspection. We evaluate our approach with a usage scenario that enabled an efficient comparison of two different GAN models.

研究の動機と目的

• 技術的・非画像分野におけるGAN生成時系列データの客観的評価手法の不足に対処すること。
• 機械学習および分野専門家が、訓練イテレーションにわたる生成時系列の品質と現実性を視覚的に評価できるようにすること。
• モード崩壊や低いデータ多様性といった一般的なGANの失敗モードを、インタラクティブな視覚的検査によって検出すること。
• 最良のパフォーマンスを示すイテレーションとデータ分布の忠実度を特定することで、複数のGANモデル間の効率的比較を可能にすること。
• 人間中心の評価フレームワークを提供し、信頼できるAIモデルの学習に向けたGAN生成データの信頼性を高めること。

提案手法

• フレームワークは、訓練イテレーションにわたる実際の時系列と生成時系列の類似度指標を可視化するGANイテレーションビューを採用している。
• 詳細比較ビューでは、カラーフィールドとタイムヒストグラムの可視化を用いて、実際の時系列と生成時系列を並べて比較可能である。
• 主成分分析（PCA）を用いて時系列サンプルを順序付け、効果的な並べ替えとパターン認識を可能にしている。
• 実際のデータと生成データの分布的類似度を定量化するために、エネルギー距離（ED）指標を用いて最近隣接距離（入力および出力）を計算している。
• ユーザーはGANイテレーションビューから選択されたサンプルビューに移行し、特定の時系列ペアの詳細な検査が可能である。
• 繰り返しの探索を可能にすることで、生成データが実際のデータの分布と多様性において最もよく一致する最適な訓練イテレーションの特定が可能である。

実験結果

リサーチクエスチョン

• RQ1 視覚的アナリティクス技術と距離指標を効果的に統合することで、GAN生成時系列の品質をどのように評価できるか？
• RQ2 インタラクティブな可視化は、機械学習専門家がGAN出力におけるモード崩壊や低いデータ多様性を検出するのを支援できるか？
• RQ3 訓練イテレーションにわたる類似度指標の変化は、最適なGANモデルパラメータの選定をどのように支援するか？
• RQ4 時系列分布の視覚的比較によって、現実性や分布忠実度の不一致をどの程度明らかにできるか？
• RQ5 視覚的アナリティクスは、実世界の機械学習応用分野におけるGAN生成データの信頼性をどのように向上させられるか？

主な発見

• 機械学習専門家は、モデル1について978イテレーション目、モデル2について926イテレーション目を最適と特定し、生成時系列が最高の現実性と滑らかさを示した。
• モデル1は、生成サンプルが中央値の周辺に集中しており多様性に欠けるなど、モード崩壊の兆候を示しており、カラーフィールドビューでの近隣距離が低かったことから確認された。
• ノーマルノイズとミニバッチ特徴抽出を用いたモデル2は、実データの分布的広がりと時間的シフト、稀なパターンまでも正確に再現した。
• タイムヒストグラムから、モデル1の生成データは68百分位数に過剰に集中しているのに対し、モデル2のデータは実データの分布に近い分布を示した。
• 選択されたサンプルビューにより、直接的な視覚的比較が可能となり、モデル2の生成時系列が実データの挙動とばらつきを的確に再現していることが確認された。
• このフレームワークは、専門家が訓練上の問題を検出し、データ忠実度が向上した信頼できるGANモデルを選択するのを成功裏に支援した。