[논문 리뷰] Compositional Generalization from First Principles

Thaddäus Wiedemer, P. Mayilvahanan외 2명|arXiv (Cornell University)|2023. 07. 10.

Geochemistry and Geologic Mapping인용 수 4

한 줄 요약

이 논문은 데이터 생성을 식별 가능한 구성 요소를 가진 조합적 과정으로 모델링하여 기계 학습에서 조합적 일반화를 위한 형식적 프레임워크를 제안한다. 훈련 분포의 지지부문과 모델 아키텍처에 대한 충분한 조건을 도출하여 새로운 조합으로의 일반화를 보장하며, 합성 실험과 이론적 분석을 통해 검증되며, 샘플 효율적인 확장 가능한 학습을 위한 원리적인 기반을 제공한다.

ABSTRACT

Leveraging the compositional nature of our world to expedite learning and facilitate generalization is a hallmark of human perception. In machine learning, on the other hand, achieving compositional generalization has proven to be an elusive goal, even for models with explicit compositional priors. To get a better handle on compositional generalization, we here approach it from the bottom up: Inspired by identifiable representation learning, we investigate compositionality as a property of the data-generating process rather than the data itself. This reformulation enables us to derive mild conditions on only the support of the training distribution and the model architecture, which are sufficient for compositional generalization. We further demonstrate how our theoretical framework applies to real-world scenarios and validate our findings empirically. Our results set the stage for a principled theoretical study of compositional generalization.

연구 동기 및 목표

• 기계 학습 모델이 조합적 데이터 구조를 가짐에도 불구하고 여전히 조합적으로 일반화하지 못하는 문제를 해결하기 위해.
• 데이터의 성질이 아니라 데이터 생성 과정의 성질로 조합성을 공식화하기 위해.
• 조합적 일반화를 보장하기 위한 훈련 분포의 지지부문과 모델 아키텍처에 대한 최소 충분 조건을 도출하기 위해.
• 합성 환경에서 추론 실험과 분해 분석을 통해 이론적 프레임워크를 실증적으로 검증하기 위해.
• 식별 가능한 표현 학습의 향후 개발을 위한 원리적인 기반을 제공하기 위해.

제안 방법

• 저자들은 데이터가 알려진 구성 요소들을 알려진 조합 함수를 통해 조합하여 생성되는 조합적 데이터 생성 과정의 클래스를 정의한다.
• 데이터 생성을 잠재 요인(예: 위치, 형태, 색상)의 함수로 모델링하고, 조합 함수가 알려져 있고 식별 가능하다고 가정한다.
• 이론적 분석을 통해 훈련 분포의 지지부문과 모델 아키텍처에 대한 충분한 조건을 도출하여 새로운 조합으로의 일반화를 보장한다.
• 이 프레임워크는 훈련 분포에서 완벽한 재구성 가능성을 가정하며, 식별 가능한 표현 학습 원칙과 일치한다.
• 합성 이미지 데이터셋(두 개의 스프라이트, 위치, 형태, 크기, 색상로 변형)을 사용하여 새로운 조합으로의 일반화를 테스트하는 실증 검증을 수행한다.
• 분해 분석을 통해 주요 가정(예: 완전한 지지부문 커버리지, 알려진 조합 함수)의 필요성을 검토한다.

Figure 1: Left : We train a model $f$ to reconstruct images containing two sprites given their latent representation (x, y, shape, size, color) . Center : In the training set (top row and left column), one sprite is fixed in its base configuration (orange triangle or red circle), while the other can

실험 결과

연구 질문

• RQ1 훈련 분포와 모델 아키텍처에 어떤 조건이 충족되어야 알려진 구성 요소의 새로운 조합으로의 조합적 일반화가 보장될 수 있는가?
• RQ2 인도크티브 바이어스나 명시적 아키텍처 사전 지식 없이도 조합적 일반화를 보장할 수 있는가?
• RQ3 알려진 조합 함수 가정이 증명 가능한 일반화의 가능성을 어떻게 영향을 미치는가?
• RQ4 훈련 분포의 지지부문이 새로운 조합으로의 일반화 가능성을 어떻게 결정짓는가?
• RQ5 조합적 사전 지식에 의존하는 실증 방법이 분포 커버리지가 부족하여 일반화에 실패하는 정도는 어느 정도인가?

주요 결과

• 이론적 분석은 훈련 분포가 구성 요소 요인의 모든 가능한 조합을 커버하고 모델 아키텍처가 충분히 표현력이 있다면 조합적 일반화가 보장된다는 것을 보여준다.
• 실증 결과는 구성 요소가 개별적으로는 관찰되었음에도 불구하고 모델이 새로운 조합으로의 일반화에 실패함을 확인하며, 분포 커버리지의 중요성을 강조한다.
• 분해 분석은 완전한 지지부문 커버리지가 없을 경우, 완벽한 훈련 피팅이 이루어진다 해도 일반화에 체계적인 실패가 발생한다는 것을 입증한다.
• 이 프레임워크는 알려진 조합 함수가 증명 가능한 일반화를 가능하게 하는 핵심 조건임을 드러내며, 알려지지 않거나 비정형적인 조합성은 일반화를 약화시킨다는 것을 시사한다.
• 결과적으로 현재의 실증 방법은 아키텍처의 제약으로 인해 일반화에 실패하는 것이 아니라, 훈련 데이터에서 조합 공간의 커버리지가 부족하기 때문에 실패할 수 있음을 시사한다.

Figure 2: Compositional representation of a function (Definition 1 ). Component functions $\boldsymbol{\varphi}_{k}$ map each component latent $\boldsymbol{z}_{k}$ to an intermediate representation $\boldsymbol{\tilde{x}}_{k}$ . The composition function $\boldsymbol{C}$ composes them into a final da