[논문 리뷰] Synthcity: facilitating innovative use cases of synthetic data in different data modalities

Zhaozhi Qian, Bogdan-Constantin Cebere외 1명|arXiv (Cornell University)|2023. 01. 18.

Advanced Data Storage Technologies인용 수 25

한 줄 요약

Synthcity는 공정성, 프라이버시, 확장에 중점을 두고 다양한 표 형태 모달리티에 걸친 합성 데이터용 모듈식 생성기 및 평가 도구를 제공하는 오픈 소스 플랫폼이다. 빠른 벤치마킹, 실험 및 크로스 도메인 워크플로를 가능하게 한다.

ABSTRACT

Synthcity is an open-source software package for innovative use cases of synthetic data in ML fairness, privacy and augmentation across diverse tabular data modalities, including static data, regular and irregular time series, data with censoring, multi-source data, composite data, and more. Synthcity provides the practitioners with a single access point to cutting edge research and tools in synthetic data. It also offers the community a playground for rapid experimentation and prototyping, a one-stop-shop for SOTA benchmarks, and an opportunity for extending research impact. The library can be accessed on GitHub (https://github.com/vanderschaarlab/synthcity) and pip (https://pypi.org/project/synthcity/). We warmly invite the community to join the development effort by providing feedback, reporting bugs, and contributing code.

연구 동기 및 목표

• 데이터 부족, 프라이버시 및 편향 문제로 인해 AI에서 합성 데이터의 필요성을 제시한다.
• 데이터 모달리티에 걸친 합성 데이터의 생성, 평가 및 벤치마킹을 하나로 통합하는 모듈식 소프트웨어 플랫폼을 소개한다.
• 확장 가능한 워크플로우와 제너레이터, 지표, 교차 도메인 데이터 시나리오를 실험할 수 있는 도구를 제공한다.
• 정적, 시계열, 검열된 데이터를 포함한 표 형태 모달리티 및 메타데이터 가이드가 있는 복합 데이터셋에 대한 지원을 강조한다.

제안 방법

• 데이터로더(DataLoader), 플러그인(제너레이터), generate, Metrics 구성요소로 합성 데이터 생성 및 평가를 간소화하는 모듈식 워크플로우를 제시한다.
• 다양한 데이터 모달리티 및 사용 사례에 적합한 플러그인(제너레이터)과 상응하는 네트워크 아키텍처의 모음을 카탈로그한다.
• 충실도, 유용성 및 프라이버시를 다루는 평가 지표를 설명하고 제너레이터를 비교하기 위한 Benchmark 도구를 제공한다.
• 단일 및 복합 데이터셋의 처리, 메타데이터 가이드 및 누락 데이터 처리(향후 개선 예정)를 자세히 설명한다.
• 브리리스트? Synthcity를 다른 라이브러리와 비교하여 더 넓은 모달리티 및 사용 사례 지원을 강조한다.

Figure 1: Synthcity covers diverse problem settings by mapping different data modalities and use cases to a host of deep learning and traditional data generation algorithms.

실험 결과

연구 질문

• RQ1 합성 데이터 생성에서 단일 플랫폼이 다양한 데이터 모달리티와 사용 사례(공정성, 프라이버시, 증강)를 어떻게 지원할 수 있는가?
• RQ2 정적, 시계열, 검열된 및 합성 표 데이터에서 어떤 제너레이터, 아키텍처 및 평가 지표의 조합이 가장 효과적인가?
• RQ3 모듈형 interoperable 라이브러리가 실제 환경에서 벤치마킹, 테스트 및 합성 데이터 방법의 채택을 개선할 수 있는가?
• RQ4 합성 데이터 생성 및 다운스트림 유용성을 최적화하는 실용 워크플로우 및 메타데이터 가이드는 무엇인가?
• RQ5 모달리티 커버리지 및 평가 기능 측면에서 synthcity는 기존 라이브러리와 어떻게 비교되는가?

주요 결과

• Synthcity는 표 데이터에 대한 주요 합성 데이터 활용 사례(공정성, 프라이버시, 증강)를 다루는 베타 라이브러리를 제공합니다.
• 데이터로더(DataLoader), 플러그인(Plugins), generate 및 Metrics로 구성된 표준화된 워크플로우와 제너레이터를 비교하기 위한 Benchmark 도구를 제공합니다.
• 이 플랫폼은 정적, 정형 시계열, 불규칙 시계열, 검열된 데이터 및 복합 데이터셋을 지원합니다.
• 충실도, 유용성 및 프라이버시를 평가하기 위한 광범위한 평가 지표가 포함되어 있어 포괄적인 평가를 가능하게 합니다.
• Synthcity는 오픈소스이며 향후 버전에서 더 많은 모달리티와 제너레이터를 위한 계획이 있는 커뮤니티 주도형 프로젝트로 자리매김하고 있습니다.
• 다른 오픈소스 라이브러리와 비교했을 때 Synthcity는 더 넓은 데이터 모달리티 및 사용 사례 커버리지를 가진다고 주장한다.

Figure 2: Standard workflow of generating and evaluating synthetic data with synthcity.