[논문 리뷰] Towards Cognitive AI Systems: a Survey and Prospective on Neuro-Symbolic AI

Zishen Wan, Che-Kai Liu외 8명|arXiv (Cornell University)|2024. 01. 02.

Neural Networks and Applications인용 수 6

한 줄 요약

이 논문은 신경-기호 AI(NSAI)를 조사하고, 시스템 차원의 워크로드 및 계산 연산자를 분석하며, 세 가지 NSAI 모델을 프로파일링하고, 인지 AI 시스템에 대한 도전과 향후 연구 방향을 제시한다.

ABSTRACT

The remarkable advancements in artificial intelligence (AI), primarily driven by deep neural networks, have significantly impacted various aspects of our lives. However, the current challenges surrounding unsustainable computational trajectories, limited robustness, and a lack of explainability call for the development of next-generation AI systems. Neuro-symbolic AI (NSAI) emerges as a promising paradigm, fusing neural, symbolic, and probabilistic approaches to enhance interpretability, robustness, and trustworthiness while facilitating learning from much less data. Recent NSAI systems have demonstrated great potential in collaborative human-AI scenarios with reasoning and cognitive capabilities. In this paper, we provide a systematic review of recent progress in NSAI and analyze the performance characteristics and computational operators of NSAI models. Furthermore, we discuss the challenges and potential future directions of NSAI from both system and architectural perspectives.

연구 동기 및 목표

• 순수 딥러닝을 넘어 효율성, 강건성, 설명가능성과 같은 측면에서 차세대 AI의 필요성을 제시한다.
• NSAI 알고리즘과 신경적, 기호적, 확률적 구성요소의 통합을 체계적으로 분류한다.
• 대표 NSAI 모델의 런타임 특성과 계산 연산자를 프로파일링하여 병목 현상을 식별한다.
• NSAI에 대한 데이터셋, 통합 프레임워크, 벤치마킹 및 인지 하드웨어에 대한 도전과제와 방향을 제시한다.

제안 방법

• Kautz의 분류학에서 영감을 받은 다섯 가지 패러다임으로 NSAI 알고리즘을 분류한다: Symbolic[Neuro], Neuro|Symbolic, Neuro:SymbolicrightarrowNeuro, Neuro[Symbolic], 및 Neuro[Symbolic] (LTN/Neural Tensor Networks 변형).
• 기저 연산을 벡터 표현 vs 비벡터 표현으로 매핑하고 각 패러다임에 대한 예시 시스템을 열거한다(예: AlphaGo/AlphaZero, NVSA, NeuPSL, NSVQA, LNNs, LTNs).
• CPU/GPU에서 PyTorch Profiler를 사용하여 세 가지 대표 NSAI 모델(LNN, LTN, NVSA)의 함수별 런타임을 얻기 위해 프로파일한다.
• 계산 연산자를 여섯 가지 범주(합성곱, MatMul, 벡터/요소별 연산, 데이터 변환, 데이터 이동, 기타)로 분류하여 신경계 대 기호 워크로드를 분석한다.
• 런타임 분해를 분석하여 NSAI 추론 파이프라인의 병목 현상과 데이터 흐름의 함의를 식별한다.

실험 결과

연구 질문

• RQ1 주요 NSAI 패러다임은 무엇이며 신경적, 기호적, 확률적 구성요소를 어떻게 통합하는가?
• RQ2 일반 하드웨어에서 대표 NSAI 모델의 런타임 특성과 병목은 무엇인가?
• RQ3 신경 및 기호 워크로드가 전체 지연에 어떻게 기여하며, 더 큰 NSAI 워크로드에서 어떤 확장성 문제가 발생하는가?

주요 결과

• 기호 워크로드가 NSAI 모델의 대기시간을 지배할 수 있으며, 신경 vs 기호 구성요소 비율은 LNN(54.6%), LTN(45.4%), NVSA(7.9%)로 보고된다.
• NVSA는 추론에서 순차적 규칙 탐지로 인해 상징적 병목이 강하게 나타나며(상징적/전체 런타임의 약 92.1%).
• 신경 워크로드는 주로 MatMul 및 활성화 연산에 의해 좌우되며, NVSA는 지각 백본으로 인해 MatMul 및 합성곱에 크게 의존한다.
• 테스트 크기 전반에서 NSAI 총 런타임이 2차적으로 증가하여 더 큰 추론 작업에서 확장성 병목을 시사한다.
• 기호 구성요소는 복잡한 제어 흐름과 데이터 이동 문제를 나타내어 아키텍처 및 데이터 흐름 최적화를 통해 이득이 가능함을 시사한다.
• 본 논문은 NSAI 워크로드에 맞춘 통합 신경-기호-확률 프레임워크, 벤치마크 표준 및 인지 하드웨어의 필요성을 확인한다.