[논문 리뷰] NeurASP: Embracing Neural Networks into Answer Set Programming

Zhun Yang, Adam Ishay외 1명|arXiv (Cornell University)|2023. 07. 15.

Multi-Agent Systems and NegotiationComputer Science인용 수 3

한 줄 요약

NeurASP는 신경망 출력을 원자적 사실 위의 확률 분포로 간주함으로써 신경망과 답변 집합 프로그래밍(ASP)을 새로운 방식으로 통합한다. 이는 하이브리드 비구조적 및 구조적 추론을 가능하게 하며, 상징적 제약 조건을 통해 인식의 강건성을 향상시키고, 규칙 기반 의미 정규화를 통해 신경망 학습을 개선함으로써, 스도쿠 및 최단 경로 예측과 같은 과제에서 최소한의 데이터로 높은 정확도를 달성한다.

ABSTRACT

We present NeurASP, a simple extension of answer set programs by embracing neural networks. By treating the neural network output as the probability distribution over atomic facts in answer set programs, NeurASP provides a simple and effective way to integrate sub-symbolic and symbolic computation. We demonstrate how NeurASP can make use of a pre-trained neural network in symbolic computation and how it can improve the neural network's perception result by applying symbolic reasoning in answer set programming. Also, NeurASP can be used to train a neural network better by training with ASP rules so that a neural network not only learns from implicit correlations from the data but also from the explicit complex semantic constraints expressed by the rules.

연구 동기 및 목표

• 신경망과 상징적 논리의 융합을 통해 인공지능에서 저수준의 인식과 고수준의 추론을 통합하는 데 도전하는 것.
• 특히 데이터가 부족한 상황에서 신경망이 상징적 제약 조건을 활용하여 강건성과 일반화 능력을 향상시킬 수 있도록 하는 것.
• 도메인 제약 조건을 강제함으로써 상징적 추론을 통해 신경망 인식 오류를 검출하고 수정할 수 있도록 하는 것.
• 명시적 의미 규칙을 정규화로 통합함으로써 신경망 학습을 향상시켜 대규모 레이블링된 데이터 세트에 대한 의존도를 줄이는 것.
• 복잡한 추론 구조(예: 기본값, 집계, 최적화)를 지원하는 유연하고 확장 가능한 프레임워크를 제공하는 것.

제안 방법

• 신경망 출력을 신경 원자 |nn(m(e,t),[v1,…,vn])|의 형태로 원자적 사실 위의 확률 분포로 모델링하며, 여기서 m은 신경망 식별자이고 t는 입력 포인터이다.
• 시스템은 신경 출력을 확률적 사실로 간주하여 표준 ASP 솔버를 통해 안정 모델 계산을 가능하게 하여 신경망과 ASP를 통합한다.
• 도메인 제약 조건을 강제함으로써 상징적 추론을 적용하여 인식 오류를 탐지하고 수정한다—예를 들어 잘못된 스도쿠 구성이나 일관성 없는 객체 관계 등.
• 신경망 학습은 ASP 추론에서 유도된 의미적 손실을 신경 원자를 통해 역전파함으로써 향상되며, 규칙 기반 제약 조건을 암묵적 정규화로 사용한다.
• 프레임워크는 기본 추론, 집계, 최적화 규칙과 같은 복잡한 ASP 구조를 지원하여 이전의 신경-상징 모델보다 richer한 지식 표현을 가능하게 한다.
• 학습 데이터는 단일 원자에 국한되지 않고 임의의 명제 공식이 될 수 있어, DeepProbLog 같은 모델에 비해 더 높은 유연성을 제공한다.

실험 결과

연구 질문

• RQ1 상징적 추론이 의미 제약 위반을 탐지하고 수정함으로써 신경망 인식의 강건성을 향상시킬 수 있는가?
• RQ2 ASP 규칙이 제한된 학습 데이터 상황에서 신경망 일반화 능력을 향상시키는 데 얼마나 효과적인가?
• RQ3 신경 출력을 ASP에 통합함으로써 스도쿠나 최단 경로 문제와 같은 추론 중심 과제에서 성능 향상이 얼마나 이루어지는가?
• RQ4 표현력, 확장성, 학습 효율성 측면에서 기존 신경-상징 프레임워크와 비교해 볼 때 NeurASP는 어떠한가?
• RQ5 동적 또는 맥락에 민감한 제약 조건(예: 그래프 문제에서 무작위로 제거된 간선을 포함한 것들)을 처리할 수 있도록 프레임워크를 확장할 수 있는가?

주요 결과

• 최단 경로 과제에서 ASP 규칙(p-r-o)을 사용함으로써 'r' 제약 조건에 대해 예측 정확도가 100%로 상승했으며, MLP만을 사용한 경우는 96.6%에 그쳤다.
• 랜덤으로 제거된 간선을 포함한 'nr' 제약 조건을 포함한 규칙로 학습한 경우, 'nr' 제약 조건에서 70.5%의 정확도를 기록했으며, 규칙 없이 학습한 기준선(32.9%)에 비해 뚜렷한 우월성을 보였다.
• 스도쿠 숫자 인식 과제에서 NeurASP는 신경망이 숫자를 잘못 분류하더라도 ASP를 통해 스도쿠의 유일성 제약 조건을 강제함으로써 정확한 퍼즐 해결을 가능하게 했다.
• 대규모 학습 데이터가 필요로 하지 않음을 입증함으로써, 최소한의 데이터로 규칙 증강 학습을 수행한 결과 높은 정확도(예: 100%)를 달성했다.
• 모든 제약 유형에서 기준선 MLP보다 NeurASP가 뛰어난 성능을 보였으며, 특히 복잡한 다중 제약 조건 시나리오(예: p-r-o-nr)에서 가장 큰 향상을 보였다—규칙 통합 시 정확도가 23.0%에서 45.7%로 상승했다.
• ASP 추론에서 유도된 의미적 손실이 성공적으로 신경망으로 역전파되어, 데이터 기반 패tern을 초월한 규칙 기반 학습을 통해 일반화 능력이 향상됨을 입증했다.