[논문 리뷰] Generating new concepts with hybrid neuro-symbolic models

Reuben Feinman, Brenden M. Lake|arXiv (Cornell University)|2020. 03. 19.

Language and cultural evolution참고 문헌 28인용 수 5

한 줄 요약

이 논문은 신경망과 기호적 확률 프로그램을 결합하여 새로운 구조적으로 일관된 손글씨 문자를 생성하는 하이브리드 뉴로심볼릭 모델을 제안한다. 구성적이고 인과적 지식을 통계적 패턴 인식과 융합함으로써, 일반화 능력이 뛰어나고 더 다양한 인간 유사 개념을 생성하면서도 지각적 일관성을 유지하는 데 성공한다.

ABSTRACT

Human conceptual knowledge supports the ability to generate novel yet highly structured concepts, and the form of this conceptual knowledge is of great interest to cognitive scientists. One tradition has emphasized structured knowledge, viewing concepts as embedded in intuitive theories or organized in complex symbolic knowledge structures. A second tradition has emphasized statistical knowledge, viewing conceptual knowledge as an emerging from the rich correlational structure captured by training neural networks and other statistical models. In this paper, we explore a synthesis of these two traditions through a novel neuro-symbolic model for generating new concepts. Using simple visual concepts as a testbed, we bring together neural networks and symbolic probabilistic programs to learn a generative model of novel handwritten characters. Two alternative models are explored with more generic neural network architectures. We compare each of these three models for their likelihoods on held-out character classes and for the quality of their productions, finding that our hybrid model learns the most convincing representation and generalizes further from the training observations.

연구 동기 및 목표

• 인간 개념 지식 내의 구성적 구조와 통계적 상관관계를 모두 포착하는 생성 모델을 개발하는 것.
• 순수 기호 모델(고정된 가정)과 순수 신경망 모델(일반화 능력 열 劣)의 개념 생성에서의 한계를 해결하는 것.
• 하이브리드 뉴로심볼릭 시스템이 새로운 구조적 개념으로의 창의적이고 민첩한 일반화를 어떻게 지원할 수 있는지 탐색하는 것.
• 이러한 모델이 암기 초과로 벗어나 구조적으로 일관된 새로운 문자를 생성할 수 있는지 평가하는 것.

제안 방법

• 모델은 손글씨 문자의 구성적·인과적 구조(예: 획 순서, 부분 재사용성 등)를 정의하기 위해 기호적 확률 프로그램을 사용한다.
• 신경망은 획의 형태와 스타일의 시각적 특징 및 변동성의 통계적 분포를 모델링하기 위해 통합된다.
• 기호 프로그램 실행과 신경망 구성 요소의 기울기 기반 최적화를 결합함으로써 엔드 투 엔드 학습이 가능한 미분 가능 추론 엔진이 사용된다.
• 스티ochasticity를 제어하기 위해 온도 파라미터를 가진 혼합 밀도 네트워크를 활용하여 다양하면서도 일관된 문자 샘플을 생성한다.
• 지각적 유사도는 Omniglot 데이터셋에 대해 피팅된 CNN의 마지막 은닉층에서의 코사인 거리로 측정된다.
• 샘플들은 생성된 문자들 간의 스타일적 다양성과 구조적 일관성을 시각화하기 위해 위상적 격자로 정렬된다.

실험 결과

연구 질문

• RQ1 뉴로심볼릭 모델은 구조적으로 일관되면서도 시각적으로 다양한 새로운 손글씨 문자를 생성할 수 있는가?
• RQ2 기호적 구성적 구조의 통합이 순수 신경망과 비교해 훈련 데이터를 초월한 일반화 능력을 향상시키는가?
• RQ3 생성된 문자들이 직접 암기한 예시가 아니라, 새로운 보기에 가까운가?
• RQ4 통계적 패턴 학습과 기호적 인덕티브 바이어스 사이의 균형을 개념 생성에서 얼마나 잘 유지할 수 있는가?
• RQ5 모델이 생성한 문자들이 가장 가까운 훈련 데이터 이웃과 지각적으로 구별되는가? 이는 진정한 일반화를 의미한다.

주요 결과

• 하이브리드 뉴로심볼릭 모델은 특히 테스트 예측이 훈련 데이터에서 크게 벗어난 경우, 보류된 문자 클래스에서 가장 높은 로그우도를 기록했다.
• Full NS 모델은 9개 샘플 중 3개가 Omniglot 훈련 데이터의 가장 가까운 이웃과 시각적으로 다름을 보이며, LSTM 기준선에 비해 더 강한 일반화 능력을 보였다.
• 100개 샘플의 위상적 정렬을 통해 각기 다른 시각적 스타일(예: 예각형, 선 기반, 곡선형)이 다수 존재함을 확인하여 풍부한 다양성을 입증했다.
• 모델은 브레일 유사 문자를 형성하는 등, 여러 획에 걸쳐 일관된 스타일적·구조적 일관성을 유지해 생성했다.
• 시각적 튜링 테스트와 지각적 유사도 분석 결과, 순수 신경망에 비해 모델의 출력이 더 독창적이고 암기적 성향이 덜하다는 것이 확인되었다.
• 기호적 구조와 신경망 기반 패턴 학습의 통합은 비모수적 상관관계를 더 잘 포착하면서도 구성적 일반화를 위한 인덕티브 바이어스를 유지하는 데 기여했다.