[논문 리뷰] SCAN: Learning Abstract Hierarchical Compositional Visual Concepts

Irina Higgins, Nicolas Sonnerat외 6명|arXiv (Cornell University)|2017. 07. 11.

Genomics and Phylogenetic Studies참고 문헌 16인용 수 18

한 줄 요약

SCAN은 beta-VAE에서 유도된 분리된 시각적 표현과 기호를 연관시켜 추상적이고 계층적이며 조합적인 시각적 개념을 학습하는 프레임워크입니다. 이는 기호와 이미지 간 이중 방향 생성을 가능하게 하며, 개념의 기호적 조작을 지원하고, 최소한의 쌍화된 데이터로 새로운 개념을 재조합을 통해 발견할 수 있도록 합니다.

ABSTRACT

The natural world is infinitely diverse, yet this diversity arises from a relatively small set of coherent properties and rules, such as the laws of physics or chemistry. We conjecture that biological intelligent systems are able to survive within their diverse environments by discovering the regularities that arise from these rules primarily through unsupervised experiences, and representing this knowledge as abstract concepts. Such representations possess useful properties of compositionality and hierarchical organisation, which allow intelligent agents to recombine a finite set of conceptual building blocks into an exponentially large set of useful new concepts. This paper describes SCAN (Symbol-Concept Association Network), a new framework for learning such concepts in the visual domain. We first use the previously published beta-VAE (Higgins et al., 2017a) architecture to learn a disentangled representation of the latent structure of the visual world, before training SCAN to extract abstract concepts grounded in such disentangled visual primitives through fast symbol association. Our approach requires very few pairings between symbols and images and makes no assumptions about the choice of symbol representations. Once trained, SCAN is capable of multimodal bi-directional inference, generating a diverse set of image samples from symbolic descriptions and vice versa. It also allows for traversal and manipulation of the implicit hierarchy of compositional visual concepts through symbolic instructions and learnt logical recombination operations. Such manipulations enable SCAN to invent and learn novel visual concepts through recombination of the few learnt concepts.

연구 동기 및 목표

• 지능형 에이전트가 무 supervision 시각 경험에서 추상적이고 조합적인 시각적 개념을 어떻게 발견하고 표현할 수 있는지 모델링하기 위해.
• 최소한의 쌍화된 데이터로 분리된 시각적 표현을 학습하고, 이를 기호적 개념에 기반화하는 프레임워크를 개발하기 위해.
• 학습된 기호-개념 연관 메커니즘을 사용하여 기호와 이미지 간 다중 모odal 이중 방향 추론을 가능하게 하기 위해.
• 새로운 개념 생성을 위한 시각적 개념의 계층적 탐색과 논리적 재조합을 지원하기 위해.
• 학습된 개념에 대한 기호적 조작이 추가 학습 없이도 새로운 의미 있는 시각적 개념을 도출할 수 있음을 보여주기 위해.

제안 방법

• 먼저, 비디오 데이터의 분리된 잠재 표현을 학습하기 위해 beta-VAE를 적용하여 기저의 변동 요인을 분리합니다.
• 기호 형식에 대한 가정 없이, 기호를 이러한 분리된 시각적 원소에 매핑하는 기호-개념 연관 네트워크(SNAC)를 훈련합니다.
• 소수의 쌍화된 기호-이미지 예시를 사용하여, 시각적 특징과 기호 간의 빠른 종단 간 기호 연관을 학습할 수 있도록 SCAN을 훈련합니다.
• 기호 기반 기반의 이미지 생성과 이미지에서 기호의 재구성이라는 이중 방향 생성을 가능하게 합니다.
• 논리적 재조합과 탐색과 같은 기호적 연산을 구현하여, 시각적 개념의 암묵적 계층을 탐색합니다.
• 기존의 기호와 그에 연관된 시각적 원소를 재조합하여, 훈련 중에 볼 수 없었던 새로운 시각적 개념을 제로샷으로 발견할 수 있도록 합니다.

실험 결과

연구 질문

• RQ1 모델은 무 supervision 시각 데이터와 소수의 기호-이미지 쌍만으로 추상적이고 조합적인 시각적 개념을 학습할 수 있는가?
• RQ2 학습된 개념에 대한 기호적 조작이 얼마나 새로운 의미 있는 시각적 개념을 생성할 수 있는가?
• RQ3 기호와 이미지 간 이중 방향 생성에서 모델의 성능은 어느 정도인가?
• RQ4 기호 지시를 통해 시각적 개념의 계층적 구조를 탐색하고 조작할 수 있는가?
• RQ5 분리된 표현이 더 해석 가능하고 일반화 가능한 개념 학습을 어떻게 지원하는가?

주요 결과

• SCAN은 소수의 기호-이미지 쌍만으로도 효과적인 이중 방향 생성을 달성하여 강력한 제로샷 일반화 성능을 입증합니다.
• 모델은 새로운 조합에 대해서조차도 다양하고 의미적으로 의미 있는 이미지 샘플을 기호적 기술로부터 성공적으로 생성합니다.
• 논리적 재조합을 통한 기호적 조작은 훈련 중에 볼 수 없었던 새로운 시각적 개념의 발견을 가능하게 합니다.
• beta-VAE를 통해 학습된 분리된 표현은 시각적 개념의 조합과 추론에 강력한 기반을 제공합니다.
• SCAN은 시각적 개념의 계층적 탐색을 가능하게 하여, 기호 지시를 통한 개념 공간의 체계적 탐색을 가능하게 합니다.
• 이 프레임워크는 기호 표현 방식에 대한 가정 없이 작동하므로, 다양한 기호 유형에 적용 가능하며 유연합니다.