[논문 리뷰] Injecting Logical Constraints into Neural Networks via Straight-Through Estimators

Zhun Yang, Joohyung Lee외 1명|arXiv (Cornell University)|2023. 07. 10.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 직렬화 추정기(stealthy estimator, STE)를 사용하여 신경망에 이산적인 논리적 제약 조건을 통합하는 CL-STE라는 방법을 제안한다. 이는 기울기 역전파를 가능하게 하기 위해 미분 가능한 손실 함수로 명제 논리 제약 조건을 표현하고, STE를 활용함으로써 기울기 역전파를 가능하게 하여 확장성 있고 GPU 가속 기반의 신경-기호 학습을 실현한다. 이 방법은 기존의 기호적 방법보다 훈련 속도가 빠르면서도 최단 경로 예측 및 준수동분류와 같은 작업에서 정확도를 유지한다.

ABSTRACT

Injecting discrete logical constraints into neural network learning is one of the main challenges in neuro-symbolic AI. We find that a straight-through-estimator, a method introduced to train binary neural networks, could effectively be applied to incorporate logical constraints into neural network learning. More specifically, we design a systematic way to represent discrete logical constraints as a loss function; minimizing this loss using gradient descent via a straight-through-estimator updates the neural network's weights in the direction that the binarized outputs satisfy the logical constraints. The experimental results show that by leveraging GPUs and batch training, this method scales significantly better than existing neuro-symbolic methods that require heavy symbolic computation for computing gradients. Also, we demonstrate that our method applies to different types of neural networks, such as MLP, CNN, and GNN, making them learn with no or fewer labeled data by learning directly from known constraints.

연구 동기 및 목표

• 논리 연산의 비미분성으로 인해 어려운 문제인 이산적인 논리 제약 조건을 신경망 훈련에 통합하는 데에 도전한다.
• 기울기 계산을 위해 비용이 많이 드는 기호 계산(예: 가중치 모델 카운팅 또는 솔버 호출)에 의존하는 기존 신경-기호 방법의 계산 병목 현상을 해결한다.
• 표준 딥 러닝 파ip라인을 사용하여 명시적인 논리 제약 조건을 갖춘 신경망의 엔드 투 엔드 훈련을 가능하게 하는 확장성 있고 기울기 역전파 가능한 프레임워크를 개발한다.
• 최소한의 레이블 데이터로 다양한 아키텍처(MLP, CNN, GNN)와 학습 패러다임(감독, 준감독)에서 CL-STE의 효과성을 입증한다.

제안 방법

• 논리 제약 조건을 결합 정규형(CNF)으로 표현하고, 이를 기울기 역전파가 가능한 손실 함수 $ L_{cnf} $로 변환하여 네트워크 출력이 논리 문장 위반 정도를 측정한다.
• 비미분 가능한 이진화 함수에 대해 기울기 흐름을 허용하기 위해 직렬화 추정기(stealthy estimator, STE)를 적용한다.
• 이진화 함수 $ b(x) $ 는 실수 값의 로짓을 이진 값(0 또는 1)으로 매핑하며, STE는 기울기 역전파 중 $ b(x) $ 의 0 기울기 대신 연속적 근사 함수의 기울기를 사용한다.
• 총 손실은 논리 제약 손실 $ L_{cnf} $ 과 표준 교차 엔트로피 손실 $ L_{cross} $ 의 합이며, 하이퍼파ram터 $ \alpha $ 가 두 손실 간의 균형을 조절한다.
• 이 방법은 이진화 과정의 기울기 역전파를 위한 기울기 역전파 가능한 대체 함수인 훈련 게이트 함수(TGF)를 사용하여, 네트워크가 논리 제약 조건을 만족하도록 유도한다.
• 이 방법은 다양한 신경망 아키텍처(MLP, CNN, GNN)와 GPU 기반 배치 훈련을 지원하며, 기호적 대안 대비 훈련 효율성을 크게 향상시킨다.

실험 결과

연구 질문

• RQ1 명제 논리로 표현된 논리 제약 조건을 신경망 훈련을 위한 기울기 역전파 가능한 손실 함수로 효과적으로 표현할 수 있는가?
• RQ2 직렬화 추정기(stealthy estimator, STE)를 효과적으로 적응시켜 이산적인 논리 제약 조건 하에서 기울기 기반 최적화를 수행할 수 있는가?
• RQ3 CL-STE는 GPU 기반 기울기 역전파 훈련을 통해 기존의 기호적 방법보다 훨씬 빠른 훈련 시간을 확보하면서도 유사하거나 더 높은 성능을 달성할 수 있는가?
• RQ4 CL-STE는 다양한 신경망 아키텍처(MLP, CNN, GNN)와 학습 환경(감독, 준감독)에 일반화 가능한가?

주요 결과

• CL-STE는 최단 경로 문제에서 NeurASP와 유사한 테스트 정확도를 179초 만에 달성했으며, NeurASP는 기호 계산으로 인해 훨씬 더 오랜 훈련 시간이 소요되었다.
• MNIST 및 Fashion-MNIST 데이터셋에서 CL-STE는 Xu 등(2018)의 의미 손실 방법과 유사한 분류 정확도를 기록했으며, 훈련 시간은 약 10분으로 원본 방법의 약 12분보다 짧았다.
• CPU에서 훈련했을 때 CL-STE는 의미 손실 방법 대비 훈련 시간을 약 10배 감소시켰고, 복잡한 제약 조건이 존재하더라도 효율성을 유지했다.
• 최단 경로 문제에서 CL-STE는 83초(기준)에 83%의 정확도, 179초(CL-STE)에 85%의 정확도를 달성했으며, 의미 손실 방법은 CPU에서 1032초가 걸려 30.75%의 정확도에 그쳤다.
• 배치 훈련과 GPU 가속을 활용함으로써 확장성과 효율성을 입증했으며, 산술 회로를 구성하거나 기호적 솔버를 호출하는 계산 오버헤드를 피했다.