[논문 리뷰] Generative AI for Banks: Benchmarks and Algorithms for Synthetic Financial Transaction Data

Fabian Karst, Sook-Yee Chong외 4명|arXiv (Cornell University)|2024. 12. 19.

Stock Market Forecasting MethodsDecision Sciences인용 수 3

한 줄 요약

이 논문은 신뢰성, 개인정보 보호, 효율성, 합성 품질, 그래프 구조 등 여러 기준에서 CTGAN, DoppelGAN, 워셔스타인 GAN, 금융 확산( FinDiff), 그리고 TVAE의 다섯 가지 생성형 AI 모델을 평가하여 합성 금융 거래 데이터를 생성한다. CTGAN은 전반적인 균형이 가장 우수하며, FinDiff와 TVAE는 데이터 복제 및 증강에서 뛰어난 성능을 보이며, DoppelGAN은 개인정보 보호가 중요한 응용 분야에서 최적이다.

ABSTRACT

The banking sector faces challenges in using deep learning due to data sensitivity and regulatory constraints, but generative AI may offer a solution. Thus, this study identifies effective algorithms for generating synthetic financial transaction data and evaluates five leading models - Conditional Tabular Generative Adversarial Networks (CTGAN), DoppelGANger (DGAN), Wasserstein GAN, Financial Diffusion (FinDiff), and Tabular Variational AutoEncoders (TVAE) - across five criteria: fidelity, synthesis quality, efficiency, privacy, and graph structure. While none of the algorithms is able to replicate the real data's graph structure, each excels in specific areas: DGAN is ideal for privacy-sensitive tasks, FinDiff and TVAE excel in data replication and augmentation, and CTGAN achieves a balance across all five criteria, making it suitable for general applications with moderate privacy concerns. As a result, our findings offer valuable insights for choosing the most suitable algorithm.

연구 동기 및 목표

• 데이터 민감성과 규제 제약으로 인해 뱅킹 분야에서 딥러닝을 적용하는 데 도전 과제를 해결하기 위해.
• 개인정보 보호와 데이터 품질을 유지하면서 합성 금융 거래 데이터를 생성할 수 있는 생성형 AI 알고리즘을 특정하기 위해.
• 금융 기관에 관련된 핵심 기준을 바탕으로 최신 기술 모델 다수를 평가하기 위해.
• 은행 응용 분야의 특정 요구 사항(예: 개인정보 보호, 데이터 정밀도, 효율성 등)에 따라 가장 적합한 알고리즘을 선택하는 데 실질적인 지침을 제공하기 위해.

제안 방법

• CTGAN, DoppelGAN, 워셔스타인 GAN, 금융 확산( FinDiff), 그리고 타뷸라 변동 자동인코더(TVAE)의 다섯 가지 주요 테이블 기반 생성 모델을 벤치마킹한다.
• 데이터 정밀도, 합성 품질, 계산 효율성, 개인정보 보존, 그래프 구조 복제 등 다섯 가지 기준으로 모델을 평가한다.
• 실제 금융 거래 데이터를 사용하여 합성 데이터 생성을 훈련 및 검증한다.
• 통계적 유사도, 개인정보 泄露, 재구성 정확도 등의 정량적 지표를 적용하여 성능을 평가한다.
• 실제 거래 네트워크와 합성 거래 네트워크 간의 위상 유사도를 측정하여 그래프 구조 보존 정도를 분석한다.
• 모델 아키텍처와 훈련 프로토콜 간 성능 차이를 분리하기 위해 아블레이션 연구를 수행한다.

실험 결과

연구 질문

• RQ1 어느 생성형 모델이 실제 세계 데이터에 가장 높은 정밀도를 갖는 합성 금융 거래 데이터를 생성하는가?
• RQ2 다양한 모델은 얼마나 잘 개인정보를 보존하면서도 현실적인 거래 패턴을 생성하는가?
• RQ3 각 모델은 대규모 합성 거래 데이터 세트를 생성할 때 얼마나 효율적인가?
• RQ4 각 모델은 실제 거래 네트워크의 기초적인 그래프 구조를 어느 정도 복제할 수 있는가?
• RQ5 일반적인 은행 응용 분야에서 데이터 품질, 개인정보 보호, 효율성 간의 최적의 트레이드오프를 제공하는 모델은 무엇인가?

주요 결과

• CTGAN은 모든 다섯 가지 평가 기준에서 가장 균형 잡힌 성능을 보이며, 중간 수준의 개인정보 보호 요구 사항이 있는 일반 목적의 합성 데이터 생성에 적합하다.
• DoppelGAN은 개인정보 보호가 중요한 응용 분야에서 가장 효과적인 모델로, 개인정보 泄露를 최소화하면서도 만족스러운 데이터 품질을 유지한다.
• FinDiff와 TVAE는 특히 거래 데이터의 복잡한 통계 패턴을 유지하는 데 있어 뛰어난 성능을 보이며, 데이터 복제 및 증강에서 뛰어난 성능을 발휘한다.
• 현재 생성 모델링의 핵심 한계로, 어떤 모델도 실제 거래 네트워크의 그래프 구조를 완전히 복제하지 못한다.
• TVAE와 FinDiff는 다양한 실존적 거래 시퀀스를 생성하는 데 뛰어난 성능을 보이며, 일부 정밀도 지표에서 GAN 기반 모델보다 뛰어난 성능을 보였다.
• 계산 효율성은 상당한 차이를 보이며, TVAE와 CTGAN는 DoppelGAN 및 워셔스타인 GAN에 비해 대규모 배포에 더 유연한 확장성을 보였다.