[논문 리뷰] Compositional Abilities Emerge Multiplicatively: Exploring Diffusion Models on a Synthetic Task

Maya Okawa, Ekdeep Singh Lubana외 2명|arXiv (Cornell University)|2023. 10. 13.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 개념 그래프 프레임워크를 기반으로 한 합성적이고 데이터 제어가 가능한 설정을 통해 조건부 확산 모델에서 조합 일반화를 조사한다. 조합 능력은 개념 그래프 구조에 따라 순차적으로 학습되는 데 기인한 상호작용적 방식으로 나타나며, 특히 표현 빈도가 낮은 속성은 일반화하기 위해 훨씬 더 많은 최적화 단계가 필요하다는 점이 드러나, 생성 모델에서 갑작스러운 성능 향상과 실패 모드를 설명한다.

ABSTRACT

Modern generative models exhibit unprecedented capabilities to generate extremely realistic data. However, given the inherent compositionality of the real world, reliable use of these models in practical applications requires that they exhibit the capability to compose a novel set of concepts to generate outputs not seen in the training data set. Prior work demonstrates that recent diffusion models do exhibit intriguing compositional generalization abilities, but also fail unpredictably. Motivated by this, we perform a controlled study for understanding compositional generalization in conditional diffusion models in a synthetic setting, varying different attributes of the training data and measuring the model's ability to generate samples out-of-distribution. Our results show: (i) the order in which the ability to generate samples from a concept and compose them emerges is governed by the structure of the underlying data-generating process; (ii) performance on compositional tasks exhibits a sudden "emergence" due to multiplicative reliance on the performance of constituent tasks, partially explaining emergent phenomena seen in generative models; and (iii) composing concepts with lower frequency in the training data to generate out-of-distribution samples requires considerably more optimization steps compared to generating in-distribution samples. Overall, our study lays a foundation for understanding capabilities and compositionality in generative models from a data-centric perspective.

연구 동기 및 목표

• 확산 모델에서 조합 일반화 실패의 메커니즘을 이해하는 것, 특히 분포 외 설정에서의 실패를 중심으로.
• 데이터 생성 과정의 구조가 조합 능력의 출현 순서에 어떻게 영향을 미치는지 조사하는 것.
• 훈련 데이터에서 개념 빈도와 표현 방식이 모델의 일반화 성능에 미치는 영향을 분석하는 것.
• 표현 빈도가 낮은 속성에 대해 지연된 출현과 잘못된 일반화와 같은 조합 일반화의 실패 모드를 특정하는 것.
• 생성 모델에서 잠재 능력의 진단과 예측을 위한 데이터 중심 프레임워크를 제공하는 것.

제안 방법

• 저자들은 각 노드가 색상, 형태 등의 속성 조합을 나타내며, 간선은 개념 수준의 차이를 나타내는 개념 그래프 프레임워크를 사용해 합성적이고 해석 가능한 데이터셋을 설계한다.
• 조건부 확산 모델은 이미지 쌍과 그에 해당하는 속성 튜플을 훈련 데이터로 사용하며, 훈련 데이터의 개념 빈도와 분포를 체계적으로 변화시킨다.
• 모델 성능 평가에 있어서는 훈련 데이터에서의 개념 거리 개념을 조합 일반화의 대리 지표로 사용하여, 분포 외 샘플 생성 정확도를 측정한다.
• 통제된 간섭 조치를 통해 훈련 데이터 구성의 변화를 조절하고 최적화 단계 동안의 학습 동역학을 모니터링한다.
• 실제 데이터(CelebA)로의 확장을 통해 합성 설정 외에서도 일반화가 성립하는지 검증하며, 여성 성별 대비 남성 성별을 표현 빈도가 낮은 속성의 대리로 사용한다.
• 훈련 시간에 따른 조합 능력의 출현을 추적하는 새로운 평가 지표를 도입하여 실패 및 성공의 임계점을 식별한다.

실험 결과

연구 질문

• RQ1 개념 그래프의 기하학적 구조는 확산 모델에서 조합 일반화의 순차적 출현에 어떻게 영향을 미치는가?
• RQ2 어떤 개념들은 성공적으로 일반화되지만 다른 개념들은 유사한 복잡도임에도 불구하고 예측 불가능하게 실패하는 이유는 무엇인가?
• RQ3 훈련 데이터에서 개념의 빈도가 조합 일반화의 시기와 성공에 얼마나 영향을 미치는가?
• RQ4 적대적 피니팅은 조합 생성 작업에서 잘못된 일반화 문제를 완화할 수 있는가?
• RQ5 표현 빈도가 낮은 속성을 신뢰할 수 있게 조합 일반화하기 위해 필요한 최적화 임계값은 무엇인가?

주요 결과

• 조합 일반화 능력은 개념 그래프의 기하학적 구조를 존중하는 순서로 나타나며, 거리가 1인 개념의 샘플 생성 능력이 거리가 2인 개념의 능력보다 먼저 나타난다.
• 조합 작업 성능은 구성 요소 작업의 성능에 상호작용적으로 의존함에 따라 갑작스럽게 '출현'하는 경향을 보이며, 이는 초기 수렴 후 급격한 성능 향상을 설명한다.
• 표현 빈도가 낮은 속성(예: 희귀한 색상 또는 CelebA에서의 남성 성별)을 포함하는 분포 외 샘플 생성에는 분포 내 샘플 생성보다 훨씬 더 많은 최적화 단계가 필요하다.
• 표현 빈도가 낮은 속성의 생성 능력은 모델이 훈련 분포에서 완벽한 성능을 달성한 후에도 훨씬 늦게 나타나며, 이는 클래스 불균형 때문이기도 하다.
• 일부 개념을 훈련 데이터에 포함시키는 데 중요한 임계점이 존재하며, 이를 활용해 유해하거나 편향된 개념을 의도적으로 학습하지 못하게 할 수 있다.
• 적대적 피니팅은 잘못된 일반화 문제를 해결하지 못하며, 이러한 실패가 모델 용량이 아니라 기본적인 데이터-구조 의존성에서 기인한다는 것을 시사한다.