[논문 리뷰] Neuro-symbolic Architectures for Context Understanding

Alessandro Oltramari, Jonathan Francis외 3명|arXiv (Cornell University)|2020. 03. 09.

Topic Modeling참고 문헌 41인용 수 12

한 줄 요약

이 논문은 지식 그래프와 딥 뉴럴 네트워크를 통합하여 인공지능의 맥락 이해 능력을 향상시키는 신경기호 아키텍처를 제안한다. 이는 자율주행 및 질의응답과 같은 분야에서 해석 가능하고 높은 성능을 발휘하는 시스템을 구현한다. 데이터 기반 학습과 상징적 지식을 융합함으로써, 모델의 해석 가능성은 유지하면서도 시각적 장면 이해 및 일반지식 추론 과제에서 최신 기술 수준의 성능을 달성하거나 초월한다.

ABSTRACT

Computational context understanding refers to an agent's ability to fuse disparate sources of information for decision-making and is, therefore, generally regarded as a prerequisite for sophisticated machine reasoning capabilities, such as in artificial intelligence (AI). Data-driven and knowledge-driven methods are two classical techniques in the pursuit of such machine sense-making capability. However, while data-driven methods seek to model the statistical regularities of events by making observations in the real-world, they remain difficult to interpret and they lack mechanisms for naturally incorporating external knowledge. Conversely, knowledge-driven methods, combine structured knowledge bases, perform symbolic reasoning based on axiomatic principles, and are more interpretable in their inferential processing; however, they often lack the ability to estimate the statistical salience of an inference. To combat these issues, we propose the use of hybrid AI methodology as a general framework for combining the strengths of both approaches. Specifically, we inherit the concept of neuro-symbolism as a way of using knowledge-bases to guide the learning progress of deep neural networks. We further ground our discussion in two applications of neuro-symbolism and, in both cases, show that our systems maintain interpretability while achieving comparable performance, relative to the state-of-the-art.

연구 동기 및 목표

• 순수하게 데이터 기반 또는 지식 기반인 AI의 한계를 해결하기 위해 양쪽 접근 방식을 통합하여 맥락 이해 능력을 향상시키기 위해.
• 지각과 상징적 지식을 결합하는 계산적 메커니즘을 통해 설명 가능한 AI를 실현하기 위해.
• 자율주행 차량 및 질의응답과 같은 실제 응용 분야에서 신경기호 프레임워크의 효과성을 입증하기 위해.
• 다양한 추론 과제에서 다양한 지식 주입 방법(주의 메커니즘 대 비해 전처리 학습)이 모델 성능에 미치는 영향을 조사하기 위해.
• 질문 유형과 지식 기반 콘텐츠 간의 일치도가 최적의 추론 결과를 도출하는 데 미치는 영향을 탐색하기 위해.

제안 방법

• 도시 주행 시나리오 및 ConceptNet, ATOMIC 등의 일반지식에서 유래한 실제 데이터셋에서 지식 그래프를 구축하기 위해.
• 시각적 및 언어적 개념 간의 의미 관계를 포괄하는 연속적인 벡터 공간 표현(지식 그래프 임베딩)을 학습하기 위해.
• 비선형 함수 근사기로 작동하는 딥 뉴럴 네트워크를 사용하여 시각적 및 텍스트적 맥락에서 의미 유사도를 추정하고 결정을 내리기 위해.
• 주의 메커니즘을 통해 사전 훈련된 언어 모델에 외부 지식을 주입하여 후보 답변에 대한 추론을 이끌기 위해.
• ATOMIC과 같은 도메인 특화 지식 기반에서 언어 모델을 사전 훈련하여 모델의 인덕티브 바이어스를 관련 추론 패턴 쪽으로 이동시키기 위해.
• 신경망 기반 지각이 상징적 지식에 의해 이끌리는 하이브리드 프레임워크를 설계하여, 설명 가능한 추론과 의사결정을 가능하게 하기 위해.

실험 결과

연구 질문

• RQ1 지식 그래프는 자율주행 차량의 시각적 장면 이해에서 딥 뉴럴 네트워크를 효과적으로 이끌 수 있는가?
• RQ2 다른 지식 주입 전략(주의 메커니즘 대 비해 전처리 학습)이 질의응답 성능에 미치는 영향은 무엇인가?
• RQ3 질문 유형과 지식 기반 콘텐츠 간의 일치도는 모델 정확도와 추론 능력에 어떤 영향을 미치는가?
• RQ4 신경기호 통합은 맥락 이해 과제에서 최신 기술 수준의 성능을 달성하면서도 해석 가능성을 유지할 수 있는가?
• RQ5 현재 모델은 부정 또는 반의어 기반 질문에 대해 추론하는 데에 어떤 한계를 보이는가?

주요 결과

• 신경기호 통합은 시각적 장면의 의미 관계를 유지하여 환경 조건이 변화하더라도 정확한 위험 평가가 가능하게 한다.
• 지식 그래프 임베딩은 시각적 장면의 개념적 구조를 성공적으로 포착하여 신경망이 외관은 다를지라도 의미적으로 유사한 장면를 탐지할 수 있도록 한다.
• 지식 기반과의 일치도가 열악한 상황에서는 주의 기반 지식 주입이 전처리 학습보다 성능이 뛰어나며, 성능 저하 없이도 효과를 발휘한다.
• ATOMIC과 같은 지식 기반에서의 사전 훈련은 전체 성능가 다소 낮더라도 그 관계적 구조와 일치하는 질문에 대해 성능 향상을 이룬다.
• 반의어나 부정을 포함한 질문은 여전히 도전 과제로 남아 있어 신경망 모델이 논리적 부정에 대한 추론 능력을 향상시킬 필요가 있음을 시사한다.
• 지식 기반과 작업 도메인이 잘 일치하는 경우, 주의 주입과 전처리 학습의 병합 접근 방식이 추가적인 성능 향상을 이룬다.