[논문 리뷰] Visual Evaluation of Generative Adversarial Networks for Time Series Data

Hiba Arnout, Johannes Kehrer외 2명|arXiv (Cornell University)|2019. 12. 23.

Generative Adversarial Networks and Image Synthesis인용 수 9

한 줄 요약

이 논문은 시계열 데이터 생성에서 생성적 적대적 네트워크(GAN)를 평가하기 위한 시각적 분석 프레임워크를 제안한다. 이 프레임워크는 두 가지 상호작용 가능한 뷰인 GAN 반복 뷰와 상세 비교 뷰를 사용하며, 거리 측도와 Colorfield 및 TimeHistograms와 같은 시각화 기법을 통합한다. 이 프레임워크를 통해 기계학습 전문가들은 모드 붕괴를 탐지하고, 데이터 다양성을 평가하며, 최적의 학습 반복 횟수를 식별할 수 있으며, 이는 최종적으로 하류 AI 응용 분야에서 GAN이 생성한 시계열 데이터에 대한 신뢰도를 향상시킨다.

ABSTRACT

A crucial factor to trust Machine Learning (ML) algorithm decisions is a good representation of its application field by the training dataset. This is particularly true when parts of the training data have been artificially generated to overcome common training problems such as lack of data or imbalanced dataset. Over the last few years, Generative Adversarial Networks (GANs) have shown remarkable results in generating realistic data. However, this ML approach lacks an objective function to evaluate the quality of the generated data. Numerous GAN applications focus on generating image data mostly because they can be easily evaluated by a human eye. Less efforts have been made to generate time series data. Assessing their quality is more complicated, particularly for technical data. In this paper, we propose a human-centered approach supporting a ML or domain expert to accomplish this task using Visual Analytics (VA) techniques. The presented approach consists of two views, namely a GAN Iteration View showing similarity metrics between real and generated data over the iterations of the generation process and a Detailed Comparative View equipped with different time series visualizations such as TimeHistograms, to compare the generated data at different iteration steps. Starting from the GAN Iteration View, the user can choose suitable iteration steps for detailed inspection. We evaluate our approach with a usage scenario that enabled an efficient comparison of two different GAN models.

연구 동기 및 목표

• 기술적이고 비이미지 영역에서 GAN이 생성한 시계열 데이터에 대한 객관적 평가 방법의 부족을 해결하기 위해.
• 기계학습 및 도메인 전문가들이 학습 반복 과정에서 생성된 시계열 데이터의 품질과 현실성에 대해 시각적으로 평가할 수 있도록 지원하기 위해.
• 모드 붕괴와 낮은 데이터 다양성과 같은 일반적인 GAN 실패 유형을 상호작용 가능한 시각적 점검을 통해 탐지하기 위해.
• 최적의 성능을 보이는 반복 횟수와 데이터 분포의 충실도를 식별함으로써, 여러 GAN 모델 간에 효율적인 비교를 가능하게 하기 위해.
• 신뢰할 수 있는 AI 모델을 훈련하기 위해 GAN이 생성한 데이터에 대한 신뢰도를 향상시키는 인간 중심의 평가 프레임워크를 제공하기 위해.

제안 방법

• 프레임워크는 학습 반복 과정에서 실시간과 생성된 시계열 데이터 간의 유사도 측도를 시각화하는 GAN 반복 뷰를 활용한다.
• 상세 비교 뷰는 Colorfield와 TimeHistogram 시각화 기법을 사용하여 실시간과 생성된 시계열 데이터를 양측 비교할 수 있도록 한다.
• 주성분 분석(PCA)을 적용하여 시계열 샘플을 정렬함으로써 효과적인 대조와 패턴 인식을 가능하게 한다.
• 실시간 데이터와 생성된 데이터 간의 분포 유사도를 정량화하기 위해 에너지 거리(ED) 측도를 사용해 가장 가까운 이웃 거리(입구 및 출구)를 계산한다.
• 사용자는 GAN 반복 뷰에서 특정 시계열 쌍을 깊이 있게 점검할 수 있는 선택된 샘플 뷰로 이동할 수 있다.
• 시스템은 최적의 학습 반복 횟수를 식별하기 위해 반복적인 탐색을 지원하며, 이는 생성된 데이터가 실시간 데이터의 분포와 다양성과 가장 잘 일치할 때를 의미한다.

실험 결과

연구 질문

• RQ1 어떻게 시각적 분석 기법을 거리 측도와 효과적으로 융합하여 GAN이 생성한 시계열 데이터의 품질을 평가할 수 있는가?
• RQ2 상호작용 가능한 시각화 기법은 기계학습 전문가들이 GAN 출력에서 모드 붕괴와 낮은 데이터 다양성을 탐지하는 데 도움이 될 수 있는가?
• RQ3 학습 반복 과정에서의 유사도 측도 변화는 최적의 GAN 모델 파라미터 선택에 어떻게 기여하는가?
• RQ4 시계열 분포의 시각적 비교는 현실성과 분포 충실도의 격차를 어느 정도 드러낼 수 있는가?
• RQ5 시각적 분석은 실제 기계학습 응용 분야에서 GAN이 생성한 데이터의 신뢰성 향상에 어떻게 기여할 수 있는가?

주요 결과

• 기계학습 전문가가 모델 1의 최적 반복 횟수로 978을, 모델 2의 최적 반복 횟수로 926를 식별하였으며, 이 시점에서 생성된 시계열 데이터는 가장 높은 현실성과 부드러움을 보였다.
• 모델 1은 생성된 샘플이 중앙값 주변에 집중되어 있으며 다양성이 떨어지는 경향을 보이며, Colorfield 뷰에서 낮은 가장 가까운 이웃 거리로 인해 모드 붕괴의 징후를 보였다.
• 정규 분포 노이즈와 미니배치 식별 기법을 사용한 모델 2는 실시간 데이터의 분포적 확산과 시간적 이동을 포함한 희귀 패턴까지 성공적으로 재현하였다.
• TimeHistograms 분석 결과, 모델 1의 생성 데이터는 68번째 백분위수에 너무 집중되어 있었고, 반면 모델 2의 데이터는 실시간 데이터의 분포와 더 밀접하게 일치하였다.
• 선택된 샘플 뷰를 통해 직접적인 시각적 비교가 가능했으며, 이는 모델 2가 생성한 시계열 데이터가 실시간 데이터의 행동 양식과 변동성을 정확히 반영하고 있음을 확인시켰다.
• 프레임워크는 전문가가 학습 문제를 탐지하고, 더 높은 데이터 충실도를 보이는 신뢰할 수 있는 GAN 모델을 선택하는 데 성공적으로 기여하였다.