[논문 리뷰] Flexible Compositional Learning of Structured Visual Concepts

Yanli Zhou, Brenden M. Lake|arXiv (Cornell University)|2021. 05. 20.

Multimodal Machine Learning Applications참고 문헌 22인용 수 4

한 줄 요약

이 논문은 소수의 예시로부터 구성적 일반화를 통해 구조적인 시각적 개념을 다소 영리하게 학습하는 베이지안 프로그램 유도 모델을 제안한다. 이는 다양한 관계적 구조를 표현하기 위해 확률적 사고 언어를 사용한다. 모델은 고정된 구성, 자유로운 부품 조합, 방향 제약, 쌍으로 된 요소와 같은 다양한 구성 유형에서 인간의 행동 데이터에 매우 잘 맞추어지며, 방향 불변성과 탄력적인 구성 재사용에 대한 강력한 인덕티브 편향을 보여준다.

ABSTRACT

Humans are highly efficient learners, with the ability to grasp the meaning of a new concept from just a few examples. Unlike popular computer vision systems, humans can flexibly leverage the compositional structure of the visual world, understanding new concepts as combinations of existing concepts. In the current paper, we study how people learn different types of visual compositions, using abstract visual forms with rich relational structure. We find that people can make meaningful compositional generalizations from just a few examples in a variety of scenarios, and we develop a Bayesian program induction model that provides a close fit to the behavioral data. Unlike past work examining special cases of compositionality, our work shows how a single computational approach can account for many distinct types of compositional generalization.

연구 동기 및 목표

• 사람들이 소수 샘플 학습 상황에서 다양한 유형의 시각적 구성에 어떻게 일반화하는지 조사하기 위해.
• 고정된 구성, 자유로운 부품 조합, 방향 제약, 쌍으로 된 요소를 포함한 다양한 형태의 구성적 일반화를 설명할 수 있는 통합된 계산 모델을 개발하기 위해.
• 단일 베이지안 프로그램 유도 프레임워크가 시각적 개념 학습에서 인간의 복잡한 인덕티브 편향을 얼마나 잘 포괄할 수 있는지 평가하기 위해.

제안 방법

• 연구는 추상적인 외계인 인물의 생성 프로그램 공간을 정의하기 위해 확률적 사고 언어(PLoT)를 사용한다. 이는 부품, 관계, 공간적 구성 방식을 모두 포함한다.
• 베이지안 추론 프레임워크는 구성적 구조에 대한 사전 분포 하에 관찰된 예시를 가장 잘 설명하는 프로그램의 사후 확률을 평가함으로써 점수를 매긴다.
• 모델은 두 가지 핵심 문법 연산을 사용한다: 'attach'는 두 부품의 가능한 모든 구성 방식을 생성하고, 'attach*'는 특정한 목표 구성 방식을 지정한다.
• 모델는 최대 사후 확률(MAP) 추정을 통해 행동 데이터에 맞추며, 방향 불변성과 구성의 탄력성과 같은 인간의 인덕티브 편향을 캡처하는 자유 매개변수를 포함한다.
• 이 프레임워크는 새로운 개념의 생성적 샘플링을 지원하여 인간이 생성한 예시와의 비교와 생성 작업 평가를 가능하게 한다.
• 구성적 구조와 관계적 추론의 역할을 분리하기 위해, 문자 기반 모델과 사전 훈련된 CNNs와 같은 대안 모델을 비교에 사용한다.

실험 결과

연구 질문

• RQ1 사람들은 소수의 예시만으로도 고정된 구성, 자유로운 조합, 방향 제약, 쌍으로 된 요소와 같은 다양한 시각적 개념 유형에 대해 의미 있는 구성적 일반화를 수행할 수 있는가?
• RQ2 방향 불변성과 새로운 구성에 대한 관용성과 같은 인간의 인덕티브 편향은 소수 샘플 설정에서 개념 학습 행동에 어떻게 영향을 미치는가?
• RQ3 단일 베이지안 프로그램 유도 모델이 얼마나 다양한 유형의 구성적 일반화를 시각 학습에서 설명할 수 있는가?

주요 결과

• 베이지안 프로그램 유도 모델은 테스트된 모든 개념 유형에서 인간의 일반화 패턴을 매우 잘 따르며, 문자 기반 GCM 및 사전 훈련된 CNNs와 같은 기준 모델보다 유의미하게 뛰어난 성능을 보였다.
• 참가자들은 방향 불변 개념을 강하게 선호했으며, 이는 모델의 문법에서 방향 불변성 확률에 대한 높은 MAP 추정치로 반영되었다.
• 사람들은 관찰된 구성 이외의 구성으로도 일반화하는 데 탄력적이었으며, 이는 특정 레이아웃의 엄격한 기억보다는 재사용 가능한 추상적 관계 규칙에 대한 편향을 보였다.
• 모델이 새로운 구성과 알려지지 않은 원소로의 일반화 능력은 부분 반복과 관계 제약과 같은 고차원의 구성적 추상화를 포착할 수 있음을 시사한다.
• 적합된 모델 매개변수들은 심리적으로 의미 있는 인덕티브 편향을 드러내었으며, 고정된 구성이 필요하지 않은 개념을 선호하는 경향이 있었고, 이는 구성적 일반화에 대한 강력한 편향을 시사한다.
• 이 프레임워크는 분류적 작업과 생성적 작업 모두에서 인간과 모델의 행동을 직접 비교할 수 있게 하여, 신경망 모델에 인간 유사 인덕티브 편향를 통합할 수 있는 길을 열어준다.