[논문 리뷰] Neuro-Symbolic Constraint Programming for Structured Prediction

Paolo Dragone, Stefano Teso외 1명|arXiv (Cornell University)|2021. 03. 31.

Natural Language Processing Techniques참고 문헌 48인용 수 9

한 줄 요약

Nester는 복잡한 논리적 및 수치적 제약 조건 하에서 구조화된 예측을 위해 신경망과 제약 프로그래밍을 결합한 신경-기호 프레임워크를 제안한다. 신경망이 초기 원시 예측을 생성하고 제약 솔버가 하드 및 소프트 제약 조건을 준수하면서 이를 정밀하게 보정함으로써, Nester는 특히 데이터가 적은 환경에서 표현 학습과 기호적 추론을 공동으로 활용하여 기존의 각 구성 요소보다 뛰어난 성능을 달성한다. 수기로 쓴 수식 인식 작업에서 그 효과가 입증된다.

ABSTRACT

We propose Nester, a method for injecting neural networks into constrained structured predictors. The job of the neural network(s) is to compute an initial, raw prediction that is compatible with the input data but does not necessarily satisfy the constraints. The structured predictor then builds a structure using a constraint solver that assembles and corrects the raw predictions in accordance with hard and soft constraints. In doing so, Nester takes advantage of the features of its two components: the neural network learns complex representations from low-level data while the constraint programming component reasons about the high-level properties of the prediction task. The entire architecture can be trained in an end-to-end fashion. An empirical evaluation on handwritten equation recognition shows that Nester achieves better performance than both the neural network and the constrained structured predictor on their own, especially when training examples are scarce, while scaling to more complex problems than other neuro-programming approaches. Nester proves especially useful to reduce errors at the semantic level of the problem, which is particularly challenging for neural network architectures.Sub

연구 동기 및 목표

• 희소한 훈련 데이터와 풍부한 배경 지식이 존재하는 구조화된 예측 작업을 해결하기 위해, 순수한 신경망이 추론 능력 부족으로 인해 일반화에 실패하는 상황을 해결한다.
• 신경망의 특징 학습 능력과 제약 프로그래밍이 구조화된 출력에 복잡한 논리적 및 수치적 제약 조건을 강제할 수 있는 능력을 통합한다.
• 신경망 예측을 제약 만족를 통해 수정함으로써 의미적 및 문법적 타당성을 유지하면서도, 종단 간(end-to-end)으로 훈련 가능한 시스템을 개발한다.
• 기존 신경-기호 모델들이 하드 제약 조건을 제대로 강제하지 못하거나 논리적 또는 확률적 추론에 국한되는 한계를 극복한다.
• 실제 작업인 수기로 쓴 수식 인식에서 하이브리드 접근 방식의 효과성을 입증한다. 여기서 의미적 정확성은 매우 중요하다.

제안 방법

• 이중 단계 아키텍처: 예를 들어 CNN나 LSTM과 같은 신경망이 원시 입력(예: 이미지)을 처리하여 제약이 없는 初기 예측을 생성한다.
• 중간 예측 결과가 MiniZinc로 구현된 제약 프로그래밍 모듈에 입력되며, 이는 출력 구조에 대한 하드 및 소프트 제약 조건을 강제한다.
• 제약 프로그램은 유효한 수식 문법과 수학적 일관성과 같은 문법적 및 의미적 제약 조건을 정의한다.
• 전체 시스템은 백프로파게이션을 통해 종단 간 훈련되며, 기울기가 신경망과 제약 솔버를 통해 미분 가능한 완화 기법을 통해 유입된다.
• 제약 솔버는 원시 출력이 위반할 수 있는 제약 조건을 고려하여 신경망의 출력을 보정하여 최종 예측을 생성한다.
• 이 프레임워크는 범주형 및 연속형 변수를 모두 지원하여, 복잡한 하이브리드 제약 조건을 갖는 구조화된 출력을 모델링할 수 있다.

실험 결과

연구 질문

• RQ1 신경망과 제약 프로그래밍을 융합한 신경-기호 시스템이 희소한 데이터 하에서 순수한 신경망보다 구조화된 예측 성능에서 뛰어나게 되는가?
• RQ2 제약 프로그래밍은 딥 신경망이 학습하지 못하는 의미 오류를 어느 정도 정정할 수 있는가?
• RQ3 미분 가능한 제약 솔버를 갖춘 하이브리드 신경-기호 시스템의 종단 간 훈련은 얼마나 효과적인가?
• RQ4 이 프레임워크는 구조화된 출력에서 논리적 관계와 수치적 관계를 모두 포함하는 복잡한 하이브리드 제약 조건을 다룰 수 있는가?
• RQ5 기호적 추론의 통합이 희소한 데이터에서의 구조화된 예측 작업에서 일반화 능력을 크게 향상시키는가?

주요 결과

• Nester는 독립적으로 사용되는 신경망이나 제약 조건이 부여된 구조화된 예측기보다 뛰어난 성능을 보이며, 특히 훈련 데이터가 제한된 경우에 두각을 나타낸다.
• 신경망은 문법적 패턴을 잘 학습하지만 의미적 정확성에는 어려움을 겪는 반면, Nester는 제약 조건 강제를 통해 의미 오류를 성공적으로 수정한다.
• 실험 결과, Nester는 문법적으로 타당하고 의미적으로 일관된 예측 결과를 생성하며, 수기로 쓴 수식 인식 작업에서 그 효과를 입증했다.
• Nester는 다른 신경-기호 접근 방식보다 더 복잡한 문제에까지 확장 가능하며, 이는 이산 및 연속 제약 조건이 혼합된 문제를 포함한다.
• 종단 간 훈련 방식은 효과적인 최적화를 가능하게 하며, 제약 솔버는 전체 파이프라인 내에서 미분 가능한 레이어로 작용한다.
• 실험 결과, 제약 프로그래밍 구성 요소가 신경망이 독립적으로 포착하기 어려운 의미 수준의 오류를 크게 감소시킴을 보여주었다.