[논문 리뷰] Closed Loop Neural-Symbolic Learning via Integrating Neural Perception, Grammar Parsing, and Symbolic Reasoning

Qing Li, Siyuan Huang외 4명|arXiv (Cornell University)|2020. 06. 11.

Topic Modeling인용 수 33

한 줄 요약

이 논문은 강화 학습 기반 backsearch와 사후 근사화를 활용하여 데이터로부터 유효한 프로그램과 수식을 학습하는 신경-기호 프레임워크를 제시합니다.

ABSTRACT

The goal of neural-symbolic computation is to integrate the connectionist and symbolist paradigms. Prior methods learn the neural-symbolic models using reinforcement learning (RL) approaches, which ignore the error propagation in the symbolic reasoning module and thus converge slowly with sparse rewards. In this paper, we address these issues and close the loop of neural-symbolic learning by (1) introducing the \ extbf{grammar} model as a \ extit{symbolic prior} to bridge neural perception and symbolic reasoning, and (2) proposing a novel \ extbf{back-search} algorithm which mimics the top-down human-like learning procedure to propagate the error through the symbolic reasoning module efficiently. We further interpret the proposed learning framework as maximum likelihood estimation using Markov chain Monte Carlo sampling and the back-search algorithm as a Metropolis-Hastings sampler. The experiments are conducted on two weakly-supervised neural-symbolic tasks: (1) handwritten formula recognition on the newly introduced HWF dataset; (2) visual question answering on the CLEVR dataset. The results show that our approach significantly outperforms the RL methods in terms of performance, converging speed, and data efficiency. Our code and data are released at \\url{https://liqing-ustc.github.io/NGS}.

연구 동기 및 목표

• 지각, 문법 구문 분석, 그리고 기호적 추론을 결합한 폐쇄 루프 신경-기호 학습의 필요성을 제기한다.
• 백서치(backsearch)와 사후 샘플링을 가진 신경-문법-기호 모델을 제안하여 유효한 프로그램/수식을 생성한다.
• 구조화된 문법을 사용하여 손글씨 수식과 CLEVR 스타일의 VQA를 위한 합성 데이터로 학습을 시연한다.
• 샘플링 기반 REINFORCE 변형과 Metropolis-Hastings 스무딩이 학습 정확도에 미치는 영향을 분석한다.

제안 방법

• 이미지에서 특징을 추출하기 위해 LeNet을 신경 지각 모듈로 사용한다.
• 공문법(문맥 자유 문법)을 사용한 문법 기반 기호적 추론을 수식과 CLEVR 프로그램에 적용한다.
• 보상 감쇠를 포함한 REINFORCE 및 MAPO 스타일 기준치를 사용하여 학습한다.
• 모듈 교환을 통해 잘못된 예측을 수정하기 위해 m-BS(다단계 backsearch)와 1-BS(단일 단계 backsearch)를 도입한다.
• 후사 근사 p'(z|x,y)을 p(z|x,y)의 스무딩된 버전으로 공식화하고 Metropolis-Hastings를 통해 샘플링한다; KL(p||p') = O(ε)임을 증명한다.
• 손으로 쓴 수식을 위한 CROHME에서 생성된 합성 데이터 세트와 CLEVR 유사 프로그램에 대해 학습한다; 장면 파서와 포인터 네트워크를 신경 구성 요소로 활용한다.

실험 결과

연구 질문

• RQ1 지각 데이터로부터 유효한 기호적 프로그램이나 수식을 학습할 수 있는 폐쇄 루프 신경-기호 시스템이 존재하는가?
• RQ2 정확한 기호 구조가 희소하거나 모호할 때 백서치와 사후 샘플링이 학습을 어떻게 개선할 수 있는가?
• RQ3 Metropolis-Hastings로 스무딩된 사후가 학습 효율성과 정확도에 어떤 영향을 미치는가?
• RQ4 VQA 및 손으로 쓴 수식 작업에서 문법 기반 기호적 추론 모듈을 신경 인지와 얼마나 잘 통합할 수 있는가?

주요 결과

• 이 프레임워크는 지각, 문법 구문 분석, 기호적 실행을 통합하여 신경-기호 파이프라인의 학습을 가능하게 한다.
• 백서치 변형(1-BS, m-BS)은 문법 정의된 그룹 내에서 모듈을 교환하여 잘못된 예측을 수정할 수 있다.
• Metropolis-Hastings 기반의 사후 근사 p′(z|x,y)는 실제 사후 p(z|x,y)를 O(ε)인 KL(p||p′)로 스무딩하고 ε→0일 때 샘플링 안정성을 향상시킨다.
• 손으로 쓴 수식 인식을 위해 숫자와 기본 연산자에 대한 문맥 자유 문법을 사용하고 생성된 합성 데이터를 활용하여 모델을 훈련한다.
• CLEVR의 신경-기호 VQA에서는 장면 파서(Mask-RCNN + ResNet-34)가 구조적 표현을 제공하고, Pointer Network가 질문 파서로 작동하여 유효한 모듈 시퀀스를 추출한다.