[논문 리뷰] Measuring abstract reasoning in neural networks

David G. T. Barrett, Felix Hill외 3명|arXiv (Cornell University)|2018. 07. 11.

Neural Networks and Applications인용 수 143

한 줄 요약

이 논문은 절차적으로 생성된 행렬(PGM) 데이터셋을 도입하여 신경망의 추상적 시각적 추론을 탐구하고, 특수한 Relational Network(WReN)이 표준 CNNs/ResNets보다 우수하며 보조적인 상징적 설명이 일반화 성능을 향상시킨다는 것을 보여줍니다.

ABSTRACT

Whether neural networks can learn abstract reasoning or whether they merely rely on superficial statistics is a topic of recent debate. Here, we propose a dataset and challenge designed to probe abstract reasoning, inspired by a well-known human IQ test. To succeed at this challenge, models must cope with various generalisation `regimes' in which the training and test data differ in clearly-defined ways. We show that popular models such as ResNets perform poorly, even when the training and test sets differ only minimally, and we present a novel architecture, with a structure designed to encourage reasoning, that does significantly better. When we vary the way in which the test questions and training data differ, we find that our model is notably proficient at certain forms of generalisation, but notably weak at others. We further show that the model's ability to generalise improves markedly if it is trained to predict symbolic explanations for its answers. Altogether, we introduce and explore ways to both measure and induce stronger abstract reasoning in neural networks. Our freely-available dataset should motivate further progress in this direction.

연구 동기 및 목표

• RPM에서 영감을 받은 매트릭스를 사용하여 신경망의 추상적 시각적 추론에 대한 원칙적인 탐구를 동기부여하고 형식화한다.
• 명시적 추상 의미론과 다수의 일반화 체제를 가진 제어 가능한 자동 생성 PGM 데이터셋을 생성한다.
• 추론에 필요한 귀납적 편향을 식별하기 위해 표준 아키텍처를 새로운 관계 집중 네트워크와 비교한다.
• 체계 간 일반화 한계 및 보조적인 상징적 설명이 성능을 향상시키는지 평가한다.

제안 방법

• 정의된 관계, 객체, 속성 트리플로부터 RPM과 유사한 매트릭스를 절차적으로 생성한다.
• 다수의 베이스라인(CNN-MLP, ResNet 변형, LSTM)과 새로운 Wild Relational Network (WReN)를 평가한다.
• 패널 간 관계를 계산하고 후보 정답을 점수화하기 위해 Relation Network 코어를 사용한다.
• Adam 옵티마이저로 학습하고 보류된 검증 세트에서 하이퍼파라미터 탐색을 수행한다.
• 상징적 관계/객체/속성 유형을 예측하는 보조 메타 타겟 학습을 실험한다(이진 메타 타겟).
• 중립, 보간, 외삽, 보류된 속성/트리플 체제 간 성능을 비교한다.

실험 결과

연구 질문

• RQ1 충분한 데이터로 학습될 때 최첨단 신경망이 복잡한 추상적 추론 과제를 해결할 수 있는가?
• RQ2 제어된 체제 전환(보간, 외삽, 보류된 구성요소)에서 모델이 추상적 추론을 얼마나 잘 일반화하는가?

주요 결과

• CNNs와 표준 ResNet은 전체 RPM 유사 추론 과제에서 성능이 좋지 못하다.
• Wild Relational Network(WReN)는 패널 간 쌍대 관계를 모델링하여 베이스라인보다 현저하게 우수하다.
• 일반화는 보간 및 새로운 조합 체제에서 가장 강하고, 외삽 및 완전히 새로운 속성에서는 약하다.
• 상징적 메타타깃을 이용한 보조 학습은 전반적인 성능을 대략 14% 향상시키고 일반화를 강화하며, 특히 새로운 조합에서 그렇다.
• 메타타깃의 예측 확실도가 작업 정확도와 상관관계가 있어 추론을 위한 설명의 유용성을 시사한다.”