[논문 리뷰] The Scattering Compositional Learner: Discovering Objects, Attributes, Relationships in Analogical Reasoning

Yuhuai Wu, Honghua Dong외 2명|arXiv (Cornell University)|2020. 07. 08.

Topic Modeling참고 문헌 34인용 수 26

한 줄 요약

Scattering Compositional Learner(SCL)는 레이븐의 진행형 매트릭스(RPM) 과제에서 조합 구조를 발견하기 위해 객체, 속성, 관계 네트워크를 명시적으로 조합하는 신경망 아키텍처이다. 엔드 투 엔드 백프로파게이션으로 훈련함으로써 SCL는 Balancing-RAVEN에서 48.7% 상대적 향상과 PGM에서 26.4% 향상을 기록하며 최신 기술 수준(SoTA) 성능을 달성하였으며, 해석 가능한 분리된 표현을 학습하고, 새로운 유추와 도메인 이동에 대해 강력한 제로샷 일반화 성능을 보였다.

ABSTRACT

In this work, we focus on an analogical reasoning task that contains rich compositional structures, Raven's Progressive Matrices (RPM). To discover compositional structures of the data, we propose the Scattering Compositional Learner (SCL), an architecture that composes neural networks in a sequence. Our SCL achieves state-of-the-art performance on two RPM datasets, with a 48.7% relative improvement on Balanced-RAVEN and 26.4% on PGM over the previous state-of-the-art. We additionally show that our model discovers compositional representations of objects' attributes (e.g., shape color, size), and their relationships (e.g., progression, union). We also find that the compositional representation makes the SCL significantly more robust to test-time domain shifts and greatly improves zero-shot generalization to previously unseen analogies.

연구 동기 및 목표

• 딥 러닝에서 체계적 일반화의 과제를 해결하기 위해 시각적 추론 과제에서 조합 구조를 명시적으로 모델링하기 위해.
• 레이븐의 진행형 매트릭스와 같은 추론 과제에서 제로샷 일반화 성능 향상과 테스트 시 도메인 이동에 대한 강건성 향상을 위해.
• 객체, 속성(예: 형태, 색상, 크기) 및 관계(예: 진행, 합집합)의 해석 가능한 분리된 표현을 발견하기 위해.
• 조합 구조 학습이 미세조정 없이도 새로운 속성-관계 조합으로의 일반화를 가능하게 하는지 검증하기 위해.

제안 방법

• SCL는 세 가지 유형의 신경망인 객체 네트워크(𝑁𝑜𝑖), 속성 네트워크(𝑁𝑎𝑗), 관계 네트워크(𝑁𝑟𝑘)를 조합하여, 특정 관계가 객체의 속성 간에 성립하는지 예측하는 조합 𝒩𝑟𝑘∘𝒩𝑎𝑗∘𝒩𝑜𝑖를 구성한다.
• 모델은 객체, 속성, 관계 네트워크 간의 가능한 모든 조합을 계산하여 호환성을 강제하고 각 네트워크가 일반적이고 분리된 기능(예: 속성 유형과 무관하게 '진행'을 표현)을 학습하도록 유도한다.
• 아키텍처는 조합 손실 ℒcomp를 통해 표준 엔드 투 엔드 백프로파게이션으로 훈련되며, 이는 학습된 표현과 기호적 속성/관계 레이블 간의 일치를 장려한다.
• 해석 가능한 특징은 선형 프로빙을 통해 검증된다: 예를 들어, 뉴런 하나가 객체 크기를 나타내기 위해 선형 변환 y ≈ -2.5x + 5을 학습한다.
• 관계 네트워크 출력의 t-SNE 시각화는 각 관계 유형 별로 잘 분리된 클러스터를 보여주며, 성공적인 개념 학습을 시사한다.
• 일반화는 훈련 중에 볼 수 없었던 새로운 속성-관계 조합으로 테스트하여 평가되며, 성능은 테스트 정확도와 검증 정확도 간의 일반화 갭으로 측정된다.

실험 결과

연구 질문

• RQ1 객체, 속성, 관계 모듈로 명시적으로 구성된 신경망 아키텍처는 추론 과제에서 분리된, 해석 가능한 표현을 발견할 수 있는가?
• RQ2 조합 구조 학습이 새로운 속성과 관계 조합으로의 제로샷 일반화 성능 향상에 기여하는가?
• RQ3 이전 최신 기술 수준(SoTA) 모델 대비 조합 구조 학습은 테스트 시 도메인 이동에 대해 얼마나 강건한가?
• RQ4 모델의 내부 표현이 기호적 속성 및 관계 개념과 얼마나 잘 일치하는가?

주요 결과

• SCL는 이전 최신 기술 수준 대비 Balancing-RAVEN에서 48.7% 상대적 향상과 PGM에서 26.4% 향상을 기록하여 RPM 벤치마크에서 최신 기술 수준 성능을 입증하였다.
• 모델는 해석 가능한 분리된 표현을 학습하였다: 예를 들어, 단일 뉴런이 객체 크기를 나타내기 위해 선형 변환 y ≈ -2.5x + 5를 학습하였으며, 이는 기호적 크기 레이블과 밀접하게 일치하였다.
• t-SNE 시각화 결과 각 관계 유형(예: 일정, 진행, 합집합) 별로 잘 분리된 클러스터가 나타나, 추상적 관계 개념의 성공적인 학습을 시사하였다.
• 훈련 중에 볼 수 없었던 새로운 속성-관계 조합에서 SCL는 평균 90.0%의 테스트 정확도를 기록하였고, 검증 정확도 대비 평균 2%의 감소만을 보였다. 반면 CoPINet는 34.7%로 떨어지며 평균 14.6%의 감소를 보였다.
• 조합 손실 ℒcomp와 테스트 정확도는 반대 방향으로 변화하는 경향을 보였으며, 이는 조합 구조 학습이 일반화 성능 향상의 원동력임을 지지하는 가설을 뒷받침한다.
• SCL는 강력한 도메인 이동에 대한 내성적 강건성을 보였으며, 이전 모델이 실패한 새로운 유추와 분포 밖 테스트 시나리오에서도 효과적으로 일반화하였다.