[논문 리뷰] Generating High-fidelity, Synthetic Time Series Datasets with DoppelGANger.

Zinan Lin, Alankar Jain외 3명|arXiv (Cornell University)|2019. 09. 30.

Generative Adversarial Networks and Image Synthesis인용 수 12

한 줄 요약

DoppelGANger는 메타데이터 생성과 시계열 생성을 분리하면서도 후자를 메타데이터로 조건화함으로써 연속형 및 이산형 특성을 혼합한 고해상도 합성 시계열 데이터를 생성하는 GAN 기반 프레임워크이다. 이는 기준 모델 대비 최대 43% 높은 정밀도를 달성하며, 기밀성을 해치지 않으면서도 중요한 데이터 구조를 유지한다.

ABSTRACT

Limited data access is a substantial barrier to data-driven networking research and development. Although many organizations are motivated to share data, privacy concerns often prevent the sharing of proprietary data, including between teams in the same organization and with outside stakeholders (e.g., researchers, vendors). Many researchers have therefore proposed synthetic data models, most of which have not gained traction because of their narrow scope. In this work, we present DoppelGANger, a synthetic data generation framework based on generative adversarial networks (GANs). DoppelGANger is designed to work on time series datasets with both continuous features (e.g. traffic measurements) and discrete ones (e.g., protocol name). Modeling time series and mixed-type data is known to be difficult; DoppelGANger circumvents these problems through a new conditional architecture that isolates the generation of metadata from time series, but uses metadata to strongly influence time series generation. We demonstrate the efficacy of DoppelGANger on three real-world datasets. We show that DoppelGANger achieves up to 43% better fidelity than baseline models, and captures structural properties of data that baseline methods are unable to learn. Additionally, it gives data holders an easy mechanism for protecting attributes of their data without substantial loss of data utility.

연구 동기 및 목표

• 기밀성 제약으로 인해 기업의 시계열 데이터에 접근이 제한되는 네트워킹 연구 문제를 해결하기 위해.
• 기존의 합성 데이터 모델이 혼합형 시계열 데이터를 효과적으로 다루지 못하는 한계를 극복하기 위해.
• 하향류 응용 프로그램을 위한 데이터 유용성을 유지하면서도 확장 가능하고 기밀성을 보장하는 합성 데이터 생성 프레임워크를 개발하기 위해.
• 데이터 보유자가 원본 데이터의 구조적 및 통계적 성질을 유지하면서도 민감한 속성을 보호하는 합성 데이터셋을 공개할 수 있도록 하기 위해.

제안 방법

• 메타데이터(예: 프로토콜 이름)의 생성과 시계열 특성(예: 트래픽 측정값)의 생성을 분리하는 조건부 GAN 아키텍처를 사용하기 위해.
• 메타데이터를 조건 입력으로 사용하여 생성기가 메타데이터와 의미적으로 일관된 시계열 데이터를 생성하도록 유도하기 위해.
• 메타데이터와 시계열 간의 종속성을 모델링하기 위해 조건부 생성기와 판별기를 적용하여 정밀도와 구조적 정확도를 향상시키기 위해.
• 합성 샘플이 실제 데이터와 구분되지 않도록 보장하기 위해 적대적 손실을 사용하여 모델을 종단 간으로 훈련하기 위해.
• 다양한 척도를 가진 혼합형 데이터에서 훈련을 안정화시키기 위해 특성별 인스턴스 정규화 레이어를 통합하기 위해.
• 두 단계 훈련 프로세스를 사용하기 위해: 먼저 메타데이터 생성기를 훈련한 후, 메타데이터 조건부로 시계열 생성기를 함께 훈련하기 위해.

실험 결과

연구 질문

• RQ1 GAN 기반 프레임워크는 실제 혼합형 데이터셋의 복잡한 구조적 특성을 유지하면서도 고해상도 합성 시계열 데이터를 생성할 수 있는가?
• RQ2 DoppelGANger의 조건부 아키텍처는 기존 GAN과 비교해 이산형 메타데이터와 연속형 시계열 특성 간의 종속성을 어떻게 더 잘 모델링하는가?
• RQ3 DoppelGANger는 합성 출력에서 민감한 속성을 보호하면서도 데이터 유용성을 어느 정도 유지하는가?
• RQ4 조건부 설계는 비조건부 또는 비조건부 GAN 기준 모델과 비교해 정밀도와 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• DoppelGANger는 통계적 및 분포 유사도 측정 기준으로 세 개의 실세계 시계열 데이터셋에서 기준 모델 대비 최대 43% 높은 정밀도를 달성한다.
• 모델은 기준 방법이 재현하지 못하는 장기적 시간적 종속성과 다중 특성 간 상관관계를 성공적으로 포착한다.
• DoppelGANger는 합성 데이터에서 주기성, 폭발성, 특성 동시 발생 패턴 등의 구조적 특성을 유지한다.
• 데이터 보유자는 원천 IP, 기기 유형 등의 민감한 속성을 효과적으로 익명화할 수 있으며, 분석이나 모델 훈련을 위한 데이터 유용성 손실이 크지 않다.
• 조건부 아키텍처는 메타데이터와 시계열 생성을 더 잘 분리함으로써 더 현실적이고 제어 가능한 합성 샘플을 생성한다.
• 프레임워크는 연속형 및 이산형 특성이 혼합된 다양한 네트워킹 데이터셋에서 뛰어난 성능을 보이며, 다양한 환경에서의 안정성을 입증한다.