[논문 리뷰] Abstract Diagrammatic Reasoning with Multiplex Graph Networks

Duo Wang, Mateja Jamnik외 1명|arXiv (Cornell University)|2020. 01. 01.

Advanced Graph Neural Networks참고 문헌 28인용 수 26

한 줄 요약

MXGNet는 다층 다중성격 그래프 신경망으로, 도표 패널 간의 다중관계적 의존성을 포착하고 개체 수준의 표현을 학습함으로써 추상적 다이어그램적 추론을 모델링한다. Diagram Syllogisms(99.8% 정확도)과 Raven Progressive Matrices 벤치마크(89.6% on PGM, 83.91% on RAVEN)에서 최신 기준 성능을 달성하며, 일반화 능력과 표현 변형에 대한 강건성을 향상시켜 이전 모델을 뛰어넘는다.

ABSTRACT

Abstract reasoning, particularly in the visual domain, is a complex human ability, but it remains a challenging problem for artificial neural learning systems. In this work we propose MXGNet, a multilayer graph neural network for multi-panel diagrammatic reasoning tasks. MXGNet combines three powerful concepts, namely, object-level representation, graph neural networks and multiplex graphs, for solving visual reasoning tasks. MXGNet first extracts object-level representations for each element in all panels of the diagrams, and then forms a multi-layer multiplex graph capturing multiple relations between objects across different diagram panels. MXGNet summarises the multiple graphs extracted from the diagrams of the task, and uses this summarisation to pick the most probable answer from the given candidates. We have tested MXGNet on two types of diagrammatic reasoning tasks, namely Diagram Syllogisms and Raven Progressive Matrices (RPM). For an Euler Diagram Syllogism task MXGNet achieves state-of-the-art accuracy of 99.8%. For PGM and RAVEN, two comprehensive datasets for RPM reasoning, MXGNet outperforms the state-of-the-art models by a considerable margin.

연구 동기 및 목표

• 도표적 과제, 특히 Raven Progressive Matrices(RPM)와 Diagram Syllogisms와 같은 다중 패널 추론 시나리오에서의 추상적 시각적 추론 과제를 해결하기 위해.
• 다양한 도표 패널 간의 복잡한 다층 관계를 포착하지 못하는 기존 모델의 한계를 개선하기 위해.
• 다양한 관계(예: 색상, 형태, 위치)를 동시에 모델링할 수 있도록 개체 수준의 표현과 다중성격 그래프 구조를 통합한 그래프 기반 아키텍처를 개발하기 위해.
• 패널 간의 계층적이고 요약 가능한 그래프 표현을 학습함으로써 추론 과제에서의 일반화 능력을 향상시키기 위해.
• 로봇 조립과 같은 실제 과제로의 확장이 가능한 강건하고 해석 가능한 도표적 추론 프레임워크를 제공하기 위해.

제안 방법

• MXGNet는 각 도표 패널의 요소에서 객체 수준의 표현을 특징 추출 모듈을 사용해 추출한다.
• 각 층이 도표 패널에 해당하는 다층 다중성격 그래프를 구성하며, 간선은 객체 간에 다중 속성(예: 색상, 형태, 위치)을 인코딩한다.
• 계층적 그래프 요약 모듈은 여러 그래프를 통해 관계 임베딩을 집계하여 추론 과제의 고수준 표현을 생성한다.
• 모델은 요약된 그래프 특징을 기반으로 후보 옵션에서 정답을 예측하기 위해 추론 네트워크를 사용한다.
• 표준 CNN 특징과 공간 주의 특징의 두 가지 객체 수준 표현 변형을 지원하며, 둘 다 뛰어난 성능을 보였다.
• 보조 감독 없이 타겟 예측을 위한 교차 엔트로피 손실을 사용해 엔드 투 엔드로 모델을 훈련시켰다.

실험 결과

연구 질문

• RQ1 다층 다중성격 그래프 신경망은 추상적 추론 과제에서 다수의 도표 패널 간에 복잡한 다중관계적 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 MXGNet의 그래프 기반 접근 방식은 WReN 및 ResNet과 같은 이전 모델과 비교해 RPM 스타일 데이터셋에서 정확도와 일반화 능력 측면에서 어떻게 성능을 냈는가?
• RQ3 PGM 데이터셋에서 내삽 및 외삽과 같은 분포 외 테스트 환경에 대해 MXGNet은 어느 정도 일반화되는가?
• RQ4 다중성격 그래프의 사용은 단일 관계 또는 비다중성격 그래프 모델에 비해 도표적 추론에서 성능 향상에 기여하는가?
• RQ5 MXGNet은 CNN 및 공간 주의 특징을 포함한 다양한 객체 수준 표현 유형에서 높은 성능을 유지할 수 있는가?

주요 결과

• MXGNet은 Euler 도표 사고형 과제에서 99.8%의 정확도를 기록하여 새로운 최신 기준 벤치마크를 수립했다.
• PGM 데이터셋에서 MXGNet은 중립적 분할에서 89.6%의 테스트 정확도를 달성했으며, WReN의 76.9%보다 12.7个百分点 높았다.
• RAVEN 데이터셋에서는 보조 훈련 없이도 83.91%의 테스트 정확도를 기록했으며, 추가 감독을 사용한 이전 최고 성능 모델(59.56%)을 초월했다.
• MXGNet은 특히 '내삽' 및 '외삽' 환경에서 뛰어난 일반화 능력을 보였으며, WReN에 비해 검증 및 테스트 정확도 간 격차가 더 작았다.
• CNN 및 공간 주의 특징을 사용하는 MXGNet의 두 변형 모두 PGM 및 RAVEN 데이터셋에서 기존 모델보다 높은 테스트 정확도를 달성했다.
• 모델은 객체 수준 표현의 변형에 대해 강건했으며, 공간 주의 특징는 낮은 훈련 손실에도 불구하고 과적합으로 인해 CNN 특징에 비해 略로 낮은 성능을 보였다.