[논문 리뷰] Neural Production Systems

Anirudh Goyal, Aniket Didolkar외 6명|arXiv (Cornell University)|2021. 03. 02.

Advanced Graph Neural Networks참고 문헌 72인용 수 21

한 줄 요약

이 논문은 룰 템플릿을 변수 치환을 통해 엔티티에 바인딩함으로써 시각적 환경을 모델링하는 신경기호 아키텍처인 신경생산시스템(Neural Production Systems)을 제안한다. 이는 동적이고 엔티티 조건 기반의 추론을 가능하게 하며, 미래 상태 예측에서 GNN 기반 방법을 능가하고, 단순한 시각적 환경에서 복잡한 환경으로의 일반화를 위해 엔티티 기반 지식과 규칙 기반 지식을 분리한다.

ABSTRACT

Visual environments are structured, consisting of distinct objects or entities. These entities have properties -- both visible and latent -- that determine the manner in which they interact with one another. To partition images into entities, deep-learning researchers have proposed structural inductive biases such as slot-based architectures. To model interactions among entities, equivariant graph neural nets (GNNs) are used, but these are not particularly well suited to the task for two reasons. First, GNNs do not predispose interactions to be sparse, as relationships among independent entities are likely to be. Second, GNNs do not factorize knowledge about interactions in an entity-conditional manner. As an alternative, we take inspiration from cognitive science and resurrect a classic approach, production systems, which consist of a set of rule templates that are applied by binding placeholder variables in the rules to specific entities. Rules are scored on their match to entities, and the best fitting rules are applied to update entity properties. In a series of experiments, we demonstrate that this architecture achieves a flexible, dynamic flow of control and serves to factorize entity-specific and rule-based information. This disentangling of knowledge achieves robust future-state prediction in rich visual environments, outperforming state-of-the-art methods using GNNs, and allows for the extrapolation from simple (few object) environments to more complex environments.

연구 동기 및 목표

• 시각적 엔티티 간 희박하고 구조적인 상호작용을 모델링하는 데 있어 그래프 신경망(GNN)의 한계를 해결하기 위해.
• 특정 엔티티와 그 성질에 따라 조건이 설정되는 동적이고 규칙 기반의 추론을 가능하게 하기 위해.
• 일반화 능력을 향상시키기 위해 엔티티 기반 지식와 규칙 기반 상호작용 지식을 분리하기 위해.
• 구조적이고 해석 가능한 추론을 통해 복잡한 시각적 환경에서의 미래 상태 예측을 안정적으로 수행하기 위해.
• 표준 GNN이 해결하기 어려운 소수의 객체에서 더 복잡한 환경으로의 외삽을 가능하게 하기 위해.

제안 방법

• 모델은 추론 중에 특정 엔티티에 바인딩되는 자리표시자 변수를 가진 룰 템플릿을 사용한다.
• 규칙는 엔티티 성질과의 일치도에 따라 평가되며, 가장 높은 점수를 받은 규칙이 적용되어 엔티티 상태를 갱신한다.
• 시스템은 규칙 선택과 적용을 미분 가능하게 하여, 엔티티의 상태 갱신을 미분 가능한 방식으로 전체적으로 훈련 가능한 방식으로 구현한다.
• 가장 관련성이 높은 규칙의 적용에 따라 엔티티 표현이 갱신되어 동적 상태 변화가 가능해진다.
• 인지과학에서 유래한 구조적 인덕티브 바이어스를 통합하여, 고정된 그래프 연결이 아닌 조건부 규칙 적용 방식으로 상호작용을 모델링한다.
• 지식을 엔티티 기반 특징과 규칙 기반 상호작용 논리로 분해함으로써, 분리와 해석 가능성 향상을 도모한다.

실험 결과

연구 질문

• RQ1 엔티티 바인딩을 통한 규칙 기반 추론은 GNN과 비교해 시각적 환경에서의 미래 상태 예측 성능을 향상시키는가?
• RQ2 이 시스템은 단순한(소수의 객체가 있는) 환경에서 더 복잡한 환경으로 일반화되는가?
• RQ3 모델은 엔티티 기반 지식와 규칙 기반 상호작용 지식을 효과적으로 분리할 수 있는가?
• RQ4 생산 시스템의 동적 제어 흐름은 GNN의 고정 메시지 전달 방식과 비교해 어떻게 다를까?
• RQ5 이 아키텍처는 훈련 분포를 초월한 외삽을 어느 정도 지원하는가?

주요 결과

• 신경생산시스템은 풍부한 시각적 환경에서 최신의 GNN 기반 방법보다 뛰어난 미래 상태 예측 성능을 달성한다.
• 모델은 소수의 객체로 구성된 훈련 환경에서 더 복잡하고 새로운 구성의 환경으로 효과적으로 일반화된다.
• 엔티티 기반 지식와 규칙 기반 지식의 분리로 인해 분포 이동 상황에서도 견고한 추론이 가능해진다.
• 시스템은 엔티티 매칭에 기반한 선택적 규칙 적용을 통해 민첩하고 동적인 제어 흐름을 구현한다.
• 훈련 중에 관찰하지 못한 더 많은 객체를 포함한 환경으로의 외삽을 지원하여 GNN에 비해 핵심적인 이점을 확보한다.
• 변수 바인딩이 가능한 룰 템플릿의 사용은 시각적 장면에서 해석 가능하고 구조적인 추론을 가능하게 한다.