[논문 리뷰] Neurosymbolic Programming for Science

Jennifer J. Sun, Megan Tjandrasuwita외 5명|arXiv (Cornell University)|2022. 10. 10.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

이 논문은 신경망과 기호적 추론을 융합하여 과학적 데이터로부터 해석 가능한 프로그래밍 모델을 학습함으로써 과학적 발견을 가속화하는 데 목적이 있는 신경기호 프로그래밍(Neurosymbolic Programming, NP) 프레임워크를 제안한다. 행동 분석 분야에서의 적용 사례를 통해 NP가 도메인 전문 언어, 사전 지식 통합, 기호적 출력을 통해 인공지능과 도메인 전문가 간의 협업을 가능하게 하여 가설 검증 및 반사상적 추론을 지원함을 보여준다.

ABSTRACT

Neurosymbolic Programming (NP) techniques have the potential to accelerate scientific discovery. These models combine neural and symbolic components to learn complex patterns and representations from data, using high-level concepts or known constraints. NP techniques can interface with symbolic domain knowledge from scientists, such as prior knowledge and experimental context, to produce interpretable outputs. We identify opportunities and challenges between current NP models and scientific workflows, with real-world examples from behavior analysis in science: to enable the use of NP broadly for workflows across the natural and social sciences.

연구 동기 및 목표

• 과학적 추론 원칙에 부합하는 해석 가능하고 지식 인식 능력을 갖춘 AI 모델을 개발하여 과학적 발견에 활용하는 데 도전 과제를 해결하기 위해.
• 신경기호 인공지능과 실제 과학적 워크플로우 사이의 격차를 해소하기 위해, 데이터가 많고 노이즈가 많은 분야(예: 행동 분석)에 특화된 과학적 워크플로우에 적용하기 위해.
• 실험적 맥락, 에테로그램, 시공간적 제약 등 도메인 전문 지식을 프로그램 합성에 통합하여 과학자와 AI 간의 협업을 가능하게 하기 위해.
• 과학적 발견의 투명한 가설 생성 및 검증을 지원하는 확장 가능하고 재현 가능하며 상호작용 가능한 NP 파이프라인을 개발하기 위해.
• NP의 평가, 벤치마킹, 도구화에 있어 핵심 과제를 규명하고, 표준화된 공동체 기반의 벤치마크와 사용자 友好的 도구의 필요성을 주장하기 위해.

제안 방법

• 행동 분석과 같은 과학적 도메인에 특화된 도메인 전용 언어(Domain-Specific Language, DSL)를 설계하여 과학적 가설을 실행 가능한 프로그램으로 표현하기 위해.
• 기존 과학 지식(예: 알려진 행동 특성, 제약 조건, 동역학 등)을 DSL과 학습 파이프라인에 통합하여 데이터 효율성과 해석 가능성을 향상시키기 위해.
• 신경기호 프로그램 합성 기법을 활용하여 데이터로부터 기호적 프로그램을 자동으로 발견하기 위해. 이는 신경망 표현(예: 자세 추적)과 기호 논리(예: 행동 규칙)를 결합한다.
• 차별 가능한 프로그래밍과 기호적 검색을 활용하여 프로그램 구조를 최적화하면서도 출력 결과가 인간이 읽고 분석할 수 있도록 보장하기 위해.
• 시각적 및 상호작용 가능한 도구(예: NEAR 통합)를 설계하여 전문가의 검증과 보완을 지원하는 인간-중심 상호작용을 가능하게 하기 위해.
• 재현성, 입력 노이즈에 대한 강건성, 도메인 전문 지식과의 일치도 등 다양한 차원에서 NP 모델을 평가하는 프레임워크를 제안하기 위해.

실험 결과

연구 질문

• RQ1 어떻게 신경기호 프로그래밍을 실제 데이터가 풍부한 도메인, 예를 들어 행동 분석 분야에서 과학적 발견을 지원하도록 적응시킬 수 있는가?
• RQ2 실험적 맥락, 알려진 행동 제약 조건 등 도메인 전용 지식은 NP 모델의 데이터 효율성과 해석 가능성 향상에 어떤 역할을 하는가?
• RQ3 기존 평가 지표가 부족한 상황에서, 예를 들어 강건성과 재현성과 같은 성질에 대해 의미 있는 방식으로 NP 모델을 평가하는 방법은 무엇인가?
• RQ4 기존 과학 워크플로우에 NP 파이프라인을 통합하고 과학자와 AI 간의 협업을 가능하게 하기 위해 필요한 도구와 인터페이스는 무엇인가?
• RQ5 NP를 과학 분야에 구현할 때의 주요 장애 요인은 무엇이며, 표준화된 벤치마크와 공동체 기반 평가 프로토콜은 이를 어떻게 극복하는 데 기여할 수 있는가?

주요 결과

• 신경기호 프로그래밍은 복잡한 시공간 데이터로부터 과학적 현상(예: 동물 행동)을 모델링하는 기호적이고 해석 가능한 프로그램을 자동으로 발견할 수 있다.
• 기타 행동 특성과 실험적 제약 조건 등 도메인 전문 지식을 통합하면 행동 분석 분야에서 모델의 데이터 효율성과 해석 가능성이 크게 향상된다.
• NP 모델은 기호적 출력을 생성하여 과학자들이 가설에 대해 추론하고 반사상적 분석을 수행하며 모델 행동을 실제 관찰과 연결할 수 있도록 한다.
• NP를 과학 워크플로우에 통합하기 위해서는 원시 데이터(예: 영상)와 기호적 모델 출력(예: 행동 분류)을 모두 시각화할 수 있는 전용 도구가 필요하며, 이는 투명성과 사용성 향상에 기여한다.
• 주요 과제 중 하나는 표준화된 벤치마크와 강건성, 재현성과 같은 성질에 대한 객관적 평가 지표의 부족으로, 특히 확률적 검색 기반 접근 방식에서 이는 특히 어려운 문제이다.
• NP의 계산 비용은 높은 편인데, 이는 GPU 기반 신경망 학습과 CPU 기반 프로그램 합성이라는 상호 보완적인 요구 사항이 동시에 발생하기 때문이며, 확장 가능한 인프라에 접근할 수 없는 연구자들에게 진입 장벽을 만든다.