[논문 리뷰] An Explicitly Relational Neural Network Architecture

Murray Shanahan, Kyriacos Nikiforou외 4명|arXiv (Cornell University)|2019. 05. 24.

Multimodal Machine Learning Applications참고 문헌 33인용 수 25

한 줄 요약

이 논문은 원시 픽셀 데이터로부터 문장 논리학의 구조를 반영하도록 내부 표현을 구성함으로써 문장적, 관계적 표현을 명시적으로 학습하는 새로운 미분 가능한 신경망 아키텍처인 PrediNet을 소개한다. 이 아키텍처는 시각적 관계 추론 작업의 커리큘럼을 통해 재사용 가능하고 분리된 객체 및 관계 표현을 학습함으로써 데이터 효율성, 일반화 능력 및 전이 학습 능력을 향상시킨다.

ABSTRACT

With a view to bridging the gap between deep learning and symbolic AI, we present a novel end-to-end neural network architecture that learns to form propositional representations with an explicitly relational structure from raw pixel data. In order to evaluate and analyse the architecture, we introduce a family of simple visual relational reasoning tasks of varying complexity. We show that the proposed architecture, when pre-trained on a curriculum of such tasks, learns to generate reusable representations that better facilitate subsequent learning on previously unseen tasks when compared to a number of baseline architectures. The workings of a successfully trained model are visualised to shed some light on how the architecture functions.

연구 동기 및 목표

• 딥 러닝과 상징적 AI 사이의 격차를 메우기 위해 신경망이 원시 데이터로부터 일반적이고 재사용 가능한 문장 표현을 학습할 수 있도록 하는 것.
• 기존 신경망 아키텍처의 한계를 해결하기 위해 객체와 관계와 같은 상징적 요소에 명확한 대응 관계가 없는 흐릿하고 비구성적인 표현을 생성하는 것.
• 명시적으로 구조화된 관계 표현이 시각적 추론 작업에서 데이터 효율성, 분포 외 일반화 능력 및 전이 학습 능력 향상에 기여하는지 평가하는 것.
• 신경망의 관계적 인덕티브 바이어스를 체계적으로 평가하기 위한 최소한의 해석 가능한 벤치마크 세트(관계 게임)를 개발하는 것.
• 명시적인 관계적 구조를 촉진하는 아키텍처 제약 조건이 종단 간 미분 가능성 손실 없이도 더 해석 가능하고 재사용 가능한 표현을 이끌 수 있음을 보여주는 것.

제안 방법

• PrediNet 아키텍처는 공유된 키 및 쿼리 프로젝션을 사용하는 다중 헤드 내적 곱 주의 메커니즘을 활용하여 원시 이미지 입력으로부터 객체 및 관계 표현을 학습한다.
• 관계 삼중항(주어, 관계, 목적어)을 처리할 수 있도록 상호 독립적인 병렬 채널로 내부 표현을 구조화함으로써 문장 구성 요소의 명시적 분리가 가능해진다.
• 공간 패턴과 객체 구성이 포함된 시각적 관계 추론 작업의 가족을 대상으로 커리큘럼 학습 전략을 사용하여 종단 간으로 훈련된다.
• 다중층 퍼셉트론 헤드를 PrediNet에 부착하여 공간 추론 작업에서의 최종 분류를 수행함으로써 표현의 유용성을 평가할 수 있도록 한다.
• 출력이 직접적으로 술어 논리학 요소(예: 관계, 객체, 문장)에 매핑되도록 하는 것과 유사한 관계적 사전 지식을 아키텍처에 통합한다.
• 내부 표현의 시각화를 통해 네트워크가 다양한 작업 간에 관계 정보를 어떻게 분리하고 조합하는지 분석한다.

실험 결과

연구 질문

• RQ1 원시 픽셀 데이터로부터 객체와 관계와 같은 상징적 요소에 직접 대응하는 명시적인 구조화된 문장 표현을 학습할 수 있는 신경망 아키텍처를 설계할 수 있는가?
• RQ2 명시적으로 관계적인 표현을 학습하는 것이 기존 신경망 아키텍처에 비해 데이터 효율성과 일반화 능력 향상에 기여하는가?
• RQ3 시각적 관계 작업의 커리큘럼을 통해 학습된 표현이 새로운, 이전에 본 적이 없는 작업으로 얼마나 잘 전이될 수 있는가?
• RQ4 특히 병렬적이고 독립적인 처리 채널의 사용과 같은 아키텍처 선택이 분리되고 재사용 가능한 표현의 탄생을 어떻게 지원하는가?
• RQ5 종단 간으로 미분 가능한, 다양한 신경망이 상징적 추론과 호환되는 표현을 학습할 수 있는가? 이를 통해 향후 논리 기반 추론 시스템과의 통합이 가능해지는가?

주요 결과

• PrediNet은 개별 구성 요소가 서로 다른 객체와 관계에 대응하는 명시적이고 해석 가능한 표현을 형성함으로써 조합적 추론이 가능해진다.
• 시각적 관계 추론 작업의 커리큘럼으로 사전 훈련된 모델은 기준 아키텍처에 비해 새로운 작업에서 더 높은 데이터 효율성과 일반화 능력을 보였다.
• 아키텍처는 효과적인 전이 학습을 가능하게 하며, 한 작업에서 학습된 표현은 구조적으로 유사한 새로운 작업에 재사용 가능하다. 이는 특정 객체나 관계가 다를 경우에도 성립한다.
• 내부 표현의 시각화 결과, 네트워크가 관계 구성 요소를 분리하여 학습하는 것으로 나타났으며, 별도의 주의 헤드가 특정 관계나 객체 역할에 집중하는 경향을 보였다.
• 다중 작업 및 전이 학습 설정에서, 특히 분포 외 일반화 시나리오에서 기준 모델에 비해 성능이 뚜렷이 향상되었다.
• 아키텍처의 구조적 사전 지식 덕분에 표현이 재조합 및 재사용에 더 적합한 것으로 나타났으며, 이는 수명 주기적, 지속적인 학습 시스템으로의 길을 열어준다.