[논문 리뷰] Semantic Probabilistic Layers for Neuro-Symbolic Learning

Kareem Ahmed, Stefano Teso외 3명|arXiv (Cornell University)|2022. 06. 01.

Neural Networks and Applications인용 수 15

한 줄 요약

이 논문은 구조적 출력에 대한 논리적 제약 조건을 확률적 회로를 통해 강제함으로써 예측의 정확성과 논리적 일관성을 보장하는 가분성 있는 신경망 레이어인 의미론적 확률적 레이어(SPL)를 소개한다. SPL은 계층적 다중 레이블 분류 및 경로 탐색 작업에서 최신 신경-기호적 방법을 능가하며, 완벽한 제약 조건 충족을 보장하고 엔드 투 엔드 학습을 가능하게 한다.

ABSTRACT

We design a predictive layer for structured-output prediction (SOP) that can be plugged into any neural network guaranteeing its predictions are consistent with a set of predefined symbolic constraints. Our Semantic Probabilistic Layer (SPL) can model intricate correlations, and hard constraints, over a structured output space all while being amenable to end-to-end learning via maximum likelihood. SPLs combine exact probabilistic inference with logical reasoning in a clean and modular way, learning complex distributions and restricting their support to solutions of the constraint. As such, they can faithfully, and efficiently, model complex SOP tasks beyond the reach of alternative neuro-symbolic approaches. We empirically demonstrate that SPLs outperform these competitors in terms of accuracy on challenging SOP tasks including hierarchical multi-label classification, pathfinding and preference learning, while retaining perfect constraint satisfaction.

연구 동기 및 목표

• 신경망이 도메인 특화 제약 조건을 위반하는 경우가 많기 때문에, 구조적 출력 예측(SOP) 작업에서 논리적 일관성을 보장하는 데 도전하는 것.
• 기호적 제약 조건을 확률적 추론과 통합하면서도 학습 효율성이나 표현력에 손상이 가지 않는 모듈형, 가분성 있는 레이어를 설계하는 것.
• 정확한 확률적 추론을 가능하게 하면서도 사전에 정의된 논리적 제약 조건의 유효한 해에만 예측을 제한함으로써 엔드 투 엔드 학습을 가능하게 하는 것.
• 기존의 신경-기호적 접근 방식이 제약 조건 충족을 보장하지 못하거나 복잡한 제약 조건에서는 비가역적인 문제가 발생하는 한계를 극복하는 것.

제안 방법

• SPL은 정확한 추론을 통해 하드 제약 조건을 강제하면서도, 복잡하고 상관관계가 있는 구조적 출력 분포를 확률적 회로로 모델링한다.
• 표준 출력 레이어(예: 시그모이드)의 대체로 사용 가능한, 가분성 있는 플러그인 레이어로 구성되어 있으며, 어떤 신경망 아키텍처와도 호환된다.
• 학습된 출력 분포와 논리적 제약 공식 K를 조합하여, 분포의 지지 집합을 오직 K를 만족하는 할당에만 제한한다.
• 경로 탐색 작업과 같이 제약 회로가 커질 경우의 확장성을 확보하기 위해 이중 회로 구현 방식을 사용한다.
• 학습은 최대 우도 기반으로 수행되어 모델이 분포와 제약 조건 준수를 동시에 학습한다.
• 프레임워크는 전체 확률적 의미론을 지원하여, 복잡한 종속성 조건 하에서도 불확실성 추정과 효율적인 추론이 가능하다.

실험 결과

연구 질문

• RQ1 표현력이나 학습 효율성에 손상이 가지 않으면서도, 논리적 일관성을 보장하는 가분성 있는 신경망 레이어를 설계할 수 있는가?
• RQ2 확률적 회로 기반의 신경-기호 레이어가 계층적 다중 레이블 분류 및 경로 탐색과 같은 실제 SOP 작업에서 복잡한 제약 조건을 갖는 경우에 얼마나 잘 성능을 내는가?
• RQ3 기호적 제약 조건을 통합할 경우, 제약 조건이 없는 모델나 히وري스틱 정규화 모델에 비해 예측 정확도가 얼마나 향상되는가?
• RQ4 그리드 기반 경로 탐색에서 수천 개의 가능한 경로가 발생하는 대규모 제약 공간에도 제안된 레이어가 확장 가능한가?

주요 결과

• SPL은 계층적 다중 레이블 분류 작업에서 최신 기술을 크게 능가하여, HMCNN에 비해 12개 데이터셋 중 11개에서 더 높은 정확 일치 점수를 기록했다.
• 워크래프트 최단 경로 작업에서, SPL은 최고의 베이스라인(FIL)에 비해 예측 정확도를 약 23% 향상시키며, 의미 손실(SL)에 비해서도 19% 향상되었고, 항상 유효한 경로를 생성했다.
• 모든 평가된 작업에서 SPL은 완벽한 제약 조건 충족을 유지했으며, 추론 시 유효성 보장을 보장하지 못하는 제약 조건이 없는 또는 손실 기반 접근 방식과는 대조적으로 실패하지 않았다.
• 다수의 벤치마크에서 거의 완벽한 성능을 기록했으며, Diatoms에서 99.75%의 F1 점수와 Imclef07a에서 99.40%의 F1 점수를 기록했고, 해밍 스코어에 대한 열악한 영향도 최소화했다.
• 제거 실험을 통해 과도하게 파rameter화된 모델이 SPL의 표현력을 향상시켜 여러 데이터셋에서 성능 향상을 이룬 것으로 확인되었다.
• 이중 회로 구현 방식은 큰 제약 회로(최대 10^10개 노드)에서도 확장성을 보여주어, 복잡한 도메인에서의 실용적 타당성을 입증했다.