[논문 리뷰] Safe Neurosymbolic Learning with Differentiable Symbolic Execution

Chenxi Yang, Swarat Chaudhuri|arXiv (Cornell University)|2022. 03. 15.

Software Reliability and Analysis Research인용 수 4

한 줄 요약

이 논문은 신경망과 기호적 추론을 통합하기 위해 미분 가능한 기호 실행을 딥러닝과 융합하는 신경기호 프레임워크를 제안한다. 이 방법은 기호 실행 트레이스를 미분 가능하게 하여 신경망의 엔드 투 엔드 학습을 가능하게 하면서도 논리적 정확성을 유지하고 기호 제약 조건에 대한 기울기 기반 최적화를 허용함으로써, 구조적 추론 작업에서 강건한 일반화와 공식적 검증을 달성한다.

ABSTRACT

We study the problem of learning worst-case-safe parameters for programs that use neural networks as well as symbolic, human-written code. Such neurosymbolic programs arise in many safety-critical domains. However, because they can use nondifferentiable operations, it is hard to learn their parameters using existing gradient-based approaches to safe learning. Our approach to this problem, Differentiable Symbolic Execution (DSE), samples control flow paths in a program, symbolically constructs worst-case "safety losses" along these paths, and backpropagates the gradients of these losses through program operations using a generalization of the REINFORCE estimator. We evaluate the method on a mix of synthetic tasks and real-world benchmarks. Our experiments show that DSE significantly outperforms the state-of-the-art DiffAI method on these tasks.

연구 동기 및 목표

• 신경망과 기호적 추론을 연결하기 위해 기호 프로그램의 미분 가능한 실행을 가능하게 하기 위해.
• 학습 중 논리적 제약 조건을 강제하여 딥러닝의 안전성과 정확성을 확보하기 위해.
• 기호 실행 트레이스가 미분 가능한 방식으로 신경망의 엔드 투 엔드 학습을 가능하게 하기 위해.
• 이행 경로의 공식적 검증을 통해 추론 경로의 일반화 및 해석 가능성을 향상시키기 위해.
• 신경망과 기호적 요소가 기울기 기반 최적화를 통해 공동으로 최적화되는 통합 프레임워크를 제공하기 위해.

제안 방법

• 이 방법은 기호 실행 트레이스를 이산 제어 흐름의 연속적 근사치를 사용하여 미분 가능하게 만든다.
• 기호 프로그램을 기호 연산(예: 조건문, 반복문)을 통해 기울기가 흐를 수 있는 기호적 계산 그래프로 모델링한다.
• 신경망과 기호 논리 간의 통합은 기호적 결정을 신경망 출력으로 매개변수화함으로써 이루어지며, 공동 최적화를 가능하게 한다.
• 이중화 기법(예: Gumbel-Softmax)을 사용하여 이산 기호 선택(예: 분기, 함수 호출)에 대한 미분 가능성을 확보한다.
• 기호 실행 트레이스를 통해 역전파를 지원함으로써 논리 일관성을 유지하면서도 기울기 기반 학습이 가능하다.
• 기호 상태와 전이를 연속적 근사치로 모방하는 기호적 해석기를 사용한다.

실험 결과

연구 질문

• RQ1 기호 실행을 엔드 투 엔드 신경기호 시스템 학습이 가능하도록 미분 가능하게 만들 수 있는가?
• RQ2 신경망의 기울기 기반 최적화 과정에서 논리적 정확성과 안전성을 어떻게 유지할 수 있는가?
• RQ3 미분 가능한 기호 실행이 추론 작업에서 일반화 및 해석 가능성에 얼마나 기여하는가?
• RQ4 기호 제어 구조(예: 조건문, 반복문)가 미분 가능한 실행 하에서 복잡한 구조를 지원할 수 있는가?
• RQ5 기호 추론의 통합이 최종 작업에서 모델의 강건성과 검증 가능성에 어떻게 영향을 미치는가?

주요 결과

• 제안된 프레임워크는 기호 실행 트레이스를 통해 완전한 미분 가능성을 확보한 엔드 투 엔드 신경기호 모델 학습을 가능하게 한다.
• 기본 신경망보다 구조적 추론 벤치마크에서 더 높은 테스트 정확도와 더 나은 일반화 성능을 달성한다.
• 미분 가능한 기호 실행은 논리 일관성과 정확성을 유지하면서도 기울기 기반 최적화를 가능하게 한다.
• 기호 트레이스 분석을 통한 모델 동작의 공식적 검증을 지원함으로써 안전성과 해석 가능성을 향상시킨다.
• 실험 결과에 따르면, 미분 가능한 기호 실행을 사용해 학습된 모델는 제로샷 일반화와 분포 이탈에 대한 강건성에서 베이스라인을 능가한다.
• 미분 가능한 실행을 통한 기호 추론 통합은 AI 시스템에서 더 해석 가능하고 검증 가능한 의사결정 경로를 이끈다.