[논문 리뷰] A Comprehensive Survey on Generative Diffusion Models for Structured Data

Heejoon Koo, Kim, To Eun|arXiv (Cornell University)|2023. 06. 07.

Music and Audio Processing인용 수 7

한 줄 요약

이 종합 검토는 구조적 데이터를 위한 생성 확산 모델에 대한 첫 번째 종합적 개요를 제공하며, 표준 데이터와 시계열 데이터를 모두 포함한다. 이는 점수 기반 확산 모델 이론을 상세히 설명하고, 데이터 기반 작업 및 도메인 특화 응용 분야에서의 핵심 기술적 접근법을 검토하며, 데이터 편향과 추론 속도 등의 과제를 밝히고, 인과 학습, 다중 모odal 통합, 혼합 데이터 유형의 개선된 모델링과 같은 향후 연구 방향을 제안한다.

ABSTRACT

In recent years, generative diffusion models have achieved a rapid paradigm shift in deep generative models by showing groundbreaking performance across various applications. Meanwhile, structured data, encompassing tabular and time series data, has been received comparatively limited attention from the deep learning research community, despite its omnipresence and extensive applications. Thus, there is still a lack of literature and its reviews on structured data modelling via diffusion models, compared to other data modalities such as visual and textual data. To address this gap, we present a comprehensive review of recently proposed diffusion models in the field of structured data. First, this survey provides a concise overview of the score-based diffusion model theory, subsequently proceeding to the technical descriptions of the majority of pioneering works that used structured data in both data-driven general tasks and domain-specific applications. Thereafter, we analyse and discuss the limitations and challenges shown in existing works and suggest potential research directions. We hope this review serves as a catalyst for the research community, promoting developments in generative diffusion models for structured data.

연구 동기 및 목표

• 비전 및 NLP에 비해 구조적 데이터를 위한 확산 모델에 대한 문헌 검토가 부족한 데 대비하여 이를 해결하고자 한다.
• 표준 및 시계열 데이터에 적용된 점수 기반 확산 모델에 대한 체계적인 검토를 제공하고자 한다.
• 기존 연구를 데이터 기반 일반 작업과 의료, 금융 등 도메인 특화 응용 분야로 분류하고자 한다.
• 현재 접근법에서 발생하는 주요 과제, 예를 들어 데이터 편향, 장기 추론 시간, 아키텍처 제약 등을 식별하고자 한다.
• 구조적 데이터를 위한 향후 연구 방향으로 인과 학습, 반사적 추론, 다중 모달 통합을 제안하고자 한다.

제안 방법

• 표준 및 시계열 데이터를 위한 확산 모델에 관한 최근 60개 이상의 논문을 검토하고 분류하며, 데이터 기반 작업과 도메인 특화 응용 분야로 나누어 분석한다.
• 점수 기반 확산 모델의 간결한 이론적 기초를 제공하며, 전진 및 역방향 과정, 노이즈 제거 점수 매칭을 포함한다.
• 표준 및 시계열 데이터에 적합하게 변형된 Transformer 기반 모델, GNN, 정규화 흐름 등의 아키텍처 설계를 분석한다.
• 구조적 데이터에 맞게 조정된 노이즈 스케줄링, 마스킹, 노이즈 제거 목표 함수 등을 포함한 훈련 전략을 평가한다.
• 의료 온톨로지 및 EHR 및 생체 신호 모델링에서의 비정규적 시간 간격과 같은 도메인 특화 제약 조건을 통합한다.
• 표준 및 시계열 데이터 전반에 걸쳐 생성, 누락치 보정, 예측을 통합하는 유일한 프레임워크를 제안한다.

실험 결과

연구 질문

• RQ1 혼합 데이터 유형과 작은 데이터셋 등의 고유한 과제를 고려할 때, 점수 기반 확산 모델은 어떻게 구조적 데이터에 효과적으로 적응시킬 수 있는가?
• RQ2 표준 및 시계열 데이터 생성에서 최첨단 성능을 달성하는 데 기여한 주요 아키텍처 및 훈련 혁신은 무엇인가?
• RQ3 현재의 구조적 데이터를 위한 확산 모델은 특히 의료와 같은 민감한 도메인에서 데이터 편향을 어떻게 다루는가?
• RQ4 인과 학습과 반사적 추론은 구조적 데이터를 위한 확산 기반 생성 모델의 신뢰성과 해석 가능성 향상에 어떤 역할을 할 수 있는가?
• RQ5 구조적 데이터와 기타 모odal 간의 다중 모달 학습으로 확장하는 데 있어 가장 유망한 방향은 무엇인가?

주요 결과

• 확산 모델은 특히 누락치 보정과 합성 분야에서 강력한 성능을 보이며, 표본 품질과 다양성에서 전통적인 GAN 및 VAE를 능가한다.
• CDDRec 및 T2I-VAE와 같은 모델들은 재구성과 대조 학습을 조합한 하이브리드 손실 함수를 통해 개선된 강건성과 분류 능력을 확보한다.
• 진전이 있었음에도 불구하고, 추론 속도는 여전히 주요 한계로 남아 있으며, GAN 기반 방법보다 훨씬 느려 의료 및 산업 응용 분야의 실시간 구현을 제한한다.
• 특히 의료 분야에서 공개된 구조적 데이터셋은 인구 통계적 편향을 보이며, 이는 모델의 일반화 능력과 공정성에 악영향을 미친다.
• 현재 접근법은 비전 또는 NLP에서 유래한 아키텍처를 그대로 활용하면서도 충분한 적응 조치를 취하지 않아, 도메인 특화 아키텍처 혁신의 필요성이 제기된다.
• 향후 연구는 인과 추론, 다중 모달 학습, 표준 및 시계열 데이터 전반에 걸쳐 생성, 누락치 보정, 예측을 통합하는 유니버설 프레임워크 구축에 초점을 맞춰야 한다.