[논문 리뷰] SCAN: Learning Hierarchical Compositional Visual Concepts

Irina Higgins, Nicolas Sonnerat외 8명|arXiv (Cornell University)|2017. 07. 11.

Genomics and Phylogenetic Studies참고 문헌 25인용 수 57

한 줄 요약

SCAN은 몇 개의 심볼-이미지 페어를 사용하여 변수 분해 원리(primitives)로 구속된 계층적이고 구성 가능한 시각 개념을 학습하고, 학습 데이터 바깥에서도 양방향 및 재조합 가능한 다중 모달 추론을 가능하게 한다.

ABSTRACT

The seemingly infinite diversity of the natural world arises from a relatively small set of coherent rules, such as the laws of physics or chemistry. We conjecture that these rules give rise to regularities that can be discovered through primarily unsupervised experiences and represented as abstract concepts. If such representations are compositional and hierarchical, they can be recombined into an exponentially large set of new concepts. This paper describes SCAN (Symbol-Concept Association Network), a new framework for learning such abstractions in the visual domain. SCAN learns concepts through fast symbol association, grounding them in disentangled visual primitives that are discovered in an unsupervised manner. Unlike state of the art multimodal generative model baselines, our approach requires very few pairings between symbols and images and makes no assumptions about the form of symbol representations. Once trained, SCAN is capable of multimodal bi-directional inference, generating a diverse set of image samples from symbolic descriptions and vice versa. It also allows for traversal and manipulation of the implicit hierarchy of visual concepts through symbolic instructions and learnt logical recombination operations. Such manipulations enable SCAN to break away from its training data distribution and imagine novel visual concepts through symbolically instructed recombination of previously learnt concepts.

연구 동기 및 목표

• 비지도 분해 표현으로 추상적이고 구성적 시각 개념을 학습하기 위한 프레임워크를 시연한다.
• 심볼 인코딩에 대한 엄격한 가정 없이 소수의 심볼-이미지 페어로 개념을 근거화한다.
• 다양한 출력을 갖춘 이미지-심볼 간의 양방향 추론(img2sym 및 sym2img)을 가능하게 한다.
• 개념 계층 구조를 탐색하고 확장하기 위한 재조합 연산자(AND, IN COMMON, IGNORE)를 도입한다.
• 학습 데이터 외의 새로운 개념에 대한 일반화 능력과 샘플 효율성을 보여준다.

제안 방법

• beta-VAE를 사용하고(D AE 기반의 고수준 특징 공간) SCAN으로 근거화 가능한 분리된 시각 원시를 학습한다.
• 시각 원시 공간과 개념 공간 간의 순방향 KL을 최소화하면서 관련 없 factors를 priors로 유지하여 SCAN 개념을 근거화한다.
• 개념을 관련 요인들의 부분집합으로 표현해 계층적 추상화 및 기호적 근거를 가능하게 한다.
• AND, IN COMMON, IGNORE 연산자 하에서 두 개념을 혼합하는 조건부 컨볼루션 재조합 모듈을 학습하여 새로운 개념 노드를 생성한다.
• 양방향 추론을 허용한다: sym2img(심볼에서 이미지를 생성) 및 img2sym(이미지를 심볼로 설명).
• DeepMind Lab 데이터와 보유-아웃 개념으로 평가하며 정확도(img2sym)와 다양성(무관한 요인의 분산)을 측정한다.

실험 결과

연구 질문

• RQ1 SCAN이 제한된 심볼-이미지 감독으로 근거 있는 계층적 개념을 학습할 수 있는가?
• RQ2 순방향 KL-근거 추상화가 다양하고 정확한 sym2img 및 img2sym 추론을 가능하게 하는가?
• RQ3 학습된 재조합 연산자가 암묵적 개념 계층구조를 새로운 개념으로 탐색하고 확장할 수 있는가?
• RQ4 특히 보지 못한(concepts unseen) 개념에서 정확도와 다양성 측면에서 기본 모델과 비교했을 때 SCAN의 성능은 어떤가?
• RQ5 재조합 시 테스트 시점에서 SCAN이 성능을 유지하는가?

주요 결과

• SCAN은 sym2img 생성 및 img2sym 설명의 정확도와 다양성 면에서 기본 모델보다 우수하다.
• 분리된 시각 원시가 개념 공간을 근거화하며, 순방향 KL 근거가 무관한 요인에 대해 광범위한 추상화를 가능하게 한다.
• 재조합 연산자는 학습 중 보지 못한 새로운 개념에 도달할 수 있으며, 정확도와 다양성을 유지한다.
• SC A N은 재조합 모듈이 있는 상태에서 테스트 연산자에서도 성능을 유지하는 반면, 기본 모델은 그렇지 않다.
• 부분적인 분리 수준(beta)는 정확도와 다양성 모두에 영향을 미치며, 일반적으로 더 높은 분리가 두 특성을 향상시킨다.
• JMVAE는 SCAN에 가장 근접하나 SCAN의 구조화된 잠재 공간이 없으면 모드 붕괴에 더 취약하다.