[논문 리뷰] Learning Task-General Representations with Generative Neuro-Symbolic Modeling

Reuben Feinman, Brenden M. Lake|arXiv (Cornell University)|2020. 06. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 50인용 수 5

한 줄 요약

이 논문은 확률적 프로그램과 신경망 서브루틴을 조합하여 손글씨 문자의 작업 일반화, 조합적, 인과적 표현을 학습하는 생성적 뉴로심벌릭(GNS) 모델을 제안한다. 모델은 기호적 스트로크 원소와 미분 가능한 렌더러를 사용하여 원시 데이터에서 다양한 문자 스타일을 생성하며, 단일 훈련 이미지로 네 가지 작업에서 인간 수준의 소수 샘플 일반화를 달성하여 기존의 심벌릭 및 신경 기반 기준보다 생성 품질과 가능도 측면에서 뛰어나다.

ABSTRACT

People can learn rich, general-purpose conceptual representations from only raw perceptual inputs. Current machine learning approaches fall well short of these human standards, although different modeling traditions often have complementary strengths. Symbolic models can capture the compositional and causal knowledge that enables flexible generalization, but they struggle to learn from raw inputs, relying on strong abstractions and simplifying assumptions. Neural network models can learn directly from raw data, but they struggle to capture compositional and causal structure and typically must retrain to tackle new tasks. We bring together these two traditions to learn generative models of concepts that capture rich compositional and causal structure, while learning from raw data. We develop a generative neuro-symbolic (GNS) model of handwritten character concepts that uses the control flow of a probabilistic program, coupled with symbolic stroke primitives and a symbolic image renderer, to represent the causal and compositional processes by which characters are formed. The distributions of parts (strokes), and correlations between parts, are modeled with neural network subroutines, allowing the model to learn directly from raw data and express nonparametric statistical relationships. We apply our model to the Omniglot challenge of human-level concept learning, using a background set of alphabets to learn an expressive prior distribution over character drawings. In a subsequent evaluation, our GNS model uses probabilistic inference to learn rich conceptual representations from a single training image that generalize to 4 unique tasks, succeeding where previous work has fallen short.

연구 동기 및 목표

• 원시 감각 입력에서 학습하는 동시에 조합적이고 인과적인 구조를 포착하는 생성 모델을 개발하여 심벌릭 모델와 신경 모델을 융합하는 것.
• 심벌릭 모델이 원시 데이터에서 학습하는 데서 겪는 한계와 신경 모델이 조합적 구조를 포착하지 못하는 한계를 해결하는 것.
• Omniglot 벤치마크에서 단일 훈련 이미지로 여러 작업에 걸쳐 인간 수준의 소수 샘플 개념 학습을 가능하게 하는 것.
• 다양한 도메인에 적용 가능한 유연한 프레임워크—생성적 뉴로심벌릭(GNS)—을 개발하는 것.

제안 방법

• 모델은 스트로크 생성의 인과적이고 조합적인 과정을 정의하는 확률적 프로그램으로 문자를 표현한다.
• 신경망 서브루틴은 스트로크의 분포와 그 상관관계를 모델링하여 원시 이미지 데이터에서 엔드 투 엔드 학습을 가능하게 한다.
• 기호적 이미지 렌더러는 추상적 스트로크 수준 표현을 픽셀 수준의 이미지로 변환하며, 미분 가능성과 구조적 정밀도를 보장한다.
• 모델은 단일 이미지에서 잠재적 타입 및 토큰 변수를 추론하기 위해 베이지안 추론을 사용하여 소수 샘플 학습을 가능하게 한다.
• 후행 모드의 적분을 근사하기 위해 라플라스 방법을 사용하여 마진 가능도를 추정하며, 테스트 가능도에 대한 하한을 제공한다.
• 프레임워크는 배경에 있는 알파벳 세트에서 학습된 비모수적 사전 확률을 캐릭터 개념에 통합한다.

실험 결과

연구 질문

• RQ1 생성 모델이 심벌릭 구조와 신경 학습을 융합하여 개념 학습에서 인간 수준의 소수 샘플 일반화를 달성할 수 있는가?
• RQ2 뉴로심벌릭 모델은 원시 픽셀 데이터에서 학습하면서 손글씨 문자의 조합적이고 인과적인 구조를 얼마나 잘 포착할 수 있는가?
• RQ3 미분 가능한 기호적 렌더러를 통합하면 순수 신경 모델 또는 심벌릭 모델에 비해 생성 품질과 가능도가 향상되는가?
• RQ4 단일 개념적 표현이 한 번의 샘플 학습 후에 여러 하류 작업에 걸쳐도 탄력적인 추론을 지원할 수 있는가?

주요 결과

• GNS 모델은 보류된 Omniglot 이미지에서 차원당 최고의 마진 가능도(−0.0348)를 기록하여 VHE 및 SG 기준을 모두 능가했다.
• GNS 모델에서 유도된 샘플은 다양하고 현실적인 스타일을 띠었으며, 대부분의 경우 근접한 훈련 샘플과 시각적으로 다름을 보여, 효과적인 일반화를 입증했다.
• 모델은 단일 개념적 표현을 하나의 이미지에서 유도하여 분류, 생성, 재구성, 소수 샘플 학습이라는 네 가지 다른 작업을 성공적으로 수행했다.
• 모델은 복잡하고 비트레비알한 구조를 가진 문자 샘플을 생성했으며, 이는 BPL 모델의 단순한 독립적 스트로크 가정을 뛰어넘었다.
• 신경 서브루틴의 사용으로 원시 데이터에서 스트로크 간의 풍부하고 비모수적 통계적 관계를 학습할 수 있었으며, 이는 이전 심벌릭 모델의 모수적 가정을 초월했다.