[논문 리뷰] Emerging Synergies in Causality and Deep Generative Models: A Survey

Guanglin Zhou, Xie, Shaoan외 8명|arXiv (Cornell University)|2023. 01. 29.

Computational and Text Analysis Methods인용 수 7

한 줄 요약

이 종합 검토는 인과성과 딥 게임형 생성 모델(DGMs)의 상호보완적 통합을 탐구하며, 인과적 추론을 DGM과 융합하면 생성형 AI의 해석 가능성, 일반화 능력 및 내성 강도가 향상됨을 제안한다. DGM에 인과적 구조를 통합하는 방법, DGM을 통한 인과적 발견, 그리고 LLM과 같은 대규모 생성형 모델에서의 인과성 분야의 최신 동향을 검토하며, 열려 있는 과제와 향후 연구 방향을 강조한다.

ABSTRACT

In the field of artificial intelligence (AI), the quest to understand and model data-generating processes (DGPs) is of paramount importance. Deep generative models (DGMs) have proven adept in capturing complex data distributions but often fall short in generalization and interpretability. On the other hand, causality offers a structured lens to comprehend the mechanisms driving data generation and highlights the causal-effect dynamics inherent in these processes. While causality excels in interpretability and the ability to extrapolate, it grapples with intricacies of high-dimensional spaces. Recognizing the synergistic potential, we delve into the confluence of causality and DGMs. We elucidate the integration of causal principles within DGMs, investigate causal identification using DGMs, and navigate an emerging research frontier of causality in large-scale generative models, particularly generative large language models (LLMs). We offer insights into methodologies, highlight open challenges, and suggest future directions, positioning our comprehensive review as an essential guide in this swiftly emerging and evolving area.

연구 동기 및 목표

• 일반적으로 별개로 연구되는 인과성과 딥 게임형 생성 모델(DGMs)의 교차 분야를 종합적으로 검토한 문헌이 부족한 점을 보완하기 위해.
• 인과 원칙이 DGM 아키텍처에 어떻게 통합될 수 있는지 조사하여, 설명 가능성과 분포 외 일반화 능력을 향상시키기 위해.
• 특히 전통적인 인과 방법이 확장성 문제를 겪는 고차원 데이터에서 인과적 발견을 촉진하는 데 DGM이 어떻게 활용될 수 있는지 검토하기 위해.
• 대규모 생성형 모델, 특히 생성형 대규모 언어 모델(LLMs)에서의 인과성 분야의 최신 동향을 탐구하고, 그들의 인과적 추론 능력에서의 핵심 과제를 식별하기 위해.
• 인과적 생성 모델링 분야의 열려 있는 문제들과 향후 연구 방향을 개괄함으로써 연구자들에게 통합된 참고 자료를 제공하기 위해.

제안 방법

• 구조적 인과 모델(SCM)을 딥 게임형 아키텍처에 통합한 기존 연구를 체계적으로 조사하며, CausalGAN 및 기타 인과적 변동 자동인코더와 같은 사례를 포함한다.
• 딥 게임형 모델을 사용하여 데이터에서 인과적 구조를 추론하는 방법을 검토하며, 정규화 흐름과 확산 모델을 활용한 식별 가능성 제약 조건 하에서의 인과적 발견 접근법을 포함한다.
• 간단한 잠재 분포(예: 정규분포)를 역행성 또는 적대적 변환을 통해 복잡한 데이터 분포로 변환함으로써 데이터 생성 과정(DGPs)을 모델링하기 위해 DGM을 분석한다.
• 특히 LLM을 포함한 대규모 생성형 모델을 활용한 인과적 추론의 응용을 검토하며, 프롬프트 엔지니어링, 개념 학습, 간섭 모델링에 초점을 맞춘다.
• 표준화된 시험 기반 환경을 통해 LLM의 인과적 추론 능력을 평가하는 프레임워크를 제안하며, 내재된 인과적 이해를 평가하기 위해 프롬프트 기반 간섭을 넘어서야 한다는 필요성을 강조한다.
• 인과 추론(예: do-계산법, 반사적 사고)의 통찰을 딥 게임형 모델링과 융합하여 간섭 및 외삽 능력을 강화한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 인과적 구조를 딥 게임형 모델에 효과적으로 통합하여 설명 가능성과 일반화 능력을 향상시킬 수 있는가?
• RQ2 고차원 데이터에서 진정한 인과 그래프가 알려져 있지 않은 상황에서, 얼마나 많은 정도로 딥 게임형 모델을 사용하여 인과적 관계를 발견할 수 있는가?
• RQ3 LLMs와 같은 대규모 생성형 모델이 신뢰할 수 있는 인과적 추론과 반사적 사고 추론을 수행하는 데 있어 핵심 과제는 무엇인가?
• RQ4 인과성과 DGM 간의 상호보완적 관계가 더 신뢰할 수 있고 내성적인 생성형 AI 시스템을 어떻게 만들어낼 수 있는가?
• RQ5 현재의 접근 방식은 복잡한 고차원 인과적 구조를 가진 실세계 데이터셋에 대해 인과적 생성 모델을 어떻게 스케일링할 수 있는지에 있어 어떤 한계를 지니는가?

주요 결과

• 현재의 인과적 생성 모델은 대부분의 모델이 CausalGAN처럼 십 개 이내의 변수를 처리할 수 있을 뿐이어서, 심각한 확장성 격차가 존재함을 보여준다.
• 진전이 있었음에도 불구하고, 많은 기존 모델은 사전 정의된 인과적 구조와 레이블이 부여된 변수 관계에 의존하여, 인과적 순서가 알려져 있지 않은 실세계 환경에서는 적용 범위가 제한됨을 나타낸다.
• LLMs의 인과적 추론 평가를 표준화하기 위한 통합된 평가 프레임워크가 절실하게 필요하며, 데이터셋, 아키텍처, 평가 지표에 따라 성능의 변동성이 크기 때문이다.
• LLMs는 프롬프트 엔지니어링을 통해 어느 정도의 인과적 추론 능력을 보이지만, 이 방법은 본질적인 인과적 이해 부족을 가리기 쉬운 경향이 있다.
• 개념 학습과 분리된 표현의 통합은 LLM의 인과 메커니즘에 대한 추론 능력을 향상시키기 위해 필수적이며, 더 강력한 인과적 AI로 나아가는 길을 제시한다.
• 현재 DGM 프레임워크에서는 인과적 발견 방법이 여전히 미흡하게 활용되고 있으며, 향후 연구는 데이터로부터 인과적 구조를 종단 간(end-to-end) 학습함으로써 사전 지식에 대한 의존도를 줄이는 데 초점을 맞춰야 한다.