[논문 리뷰] A Study of Compositional Generalization in Neural Models

Tim Klinger, Dhaval Adjodah외 5명|arXiv (Cornell University)|2020. 06. 16.

Neural Networks and Applications참고 문헌 28인용 수 5

한 줄 요약

이 논문은 구성적이고 관계적인 시각적 개념을 생성하기 위한 논리적 도메인 특화 언어와 이미지 생성 환경인 ConceptWorld를 소개한다. 이는 신경망 모델의 구성적 일반화 성능을 체계적으로 평가할 수 있도록 한다. ResNet, WReN, PrediNet와 같은 최신 아키텍처를 사용함에도 불구하고, 모든 모델들이 구성 깊이와 대체 가능성 조건 하에서 제로샷 일반화에 심각한 실패를 보이며, 구조적이고 계층적인 개념에 대한 신경망의 추론 능력에 심각한 격차가 있음을 드러낸다.

ABSTRACT

Compositional and relational learning is a hallmark of human intelligence, but one which presents challenges for neural models. One difficulty in the development of such models is the lack of benchmarks with clear compositional and relational task structure on which to systematically evaluate them. In this paper, we introduce an environment called ConceptWorld, which enables the generation of images from compositional and relational concepts, defined using a logical domain specific language. We use it to generate images for a variety of compositional structures: 2x2 squares, pentominoes, sequences, scenes involving these objects, and other more complex concepts. We perform experiments to test the ability of standard neural architectures to generalize on relations with compositional arguments as the compositional depth of those arguments increases and under substitution. We compare standard neural networks such as MLP, CNN and ResNet, as well as state-of-the-art relational networks including WReN and PrediNet in a multi-class image classification setting. For simple problems, all models generalize well to close concepts but struggle with longer compositional chains. For more complex tests involving substitutivity, all models struggle, even with short chains. In highlighting these difficulties and providing an environment for further experimentation, we hope to encourage the development of models which are able to generalize effectively in compositional, relational domains.

연구 동기 및 목표

• 신경망 모델의 구성적 및 관계적 일반화 평가를 위한 벤치마크 부족 문제를 해결하기 위해.
• 구성적 시각적 개념을 정의하고 생성하기 위한 형식적, 논리적, 재사용 가능한 프레임워크를 개발하기 위해.
• 기본 및 관계적 신경망 모델을 증가하는 구성 깊이와 객체 대체 조건에서 제로샷 일반화에 대해 체계적으로 테스트하기 위해.
• 최근 관계형 신경망 아키텍처의 발전에도 불구하고 지속적인 일반화 실패를 식별하고 시연하기 위해.
• 딥 러닝에서의 구성적 추론 연구를 위한 재현 가능한 테스트베드를 제공하기 위해.

제안 방법

• ConceptWorld는 2x2 사각형, 펜토미노, 시퀀스 등 명확한 구성적 구조를 가진 시각적 개념을 정의하기 위해 선언적이고 계층적인 논리적 DSL을 사용한다.
• 이 시스템은 이러한 논리적 개념 정의에서 픽셀 수준의 이미지를 생성하여 평가를 위한 통제된 데이터 합성 가능하게 한다.
• 네 가지의 구체적 작업이 설계되었으며, 다수의 도메인에서 구성 깊이 증가(생산성)와 기저 객체 대체(대체 가능성)를 포함한다.
• 표준 모델(MLP, CNN, ResNet)과 관계형 모델(WReN, PrediNet)이 이미지 분류 작업에 대해 훈련되었고, 제로샷 테스트 세트를 사용하였다.
• 평가에서는 순수 및 혼합 시퀀스를 포함한 미사용된 구성적 개념에 대해 F1 점수를 사용하였으며, 통제된 대체 패턴을 적용하였다.
• 순차적 학습(커리큘럼 훈련)을 적용하여 기저 개념을 먼저 학습함으로써 고차원 조합에 대한 일반화 성능 향상 여부를 평가하였다.

실험 결과

연구 질문

• RQ1 표준 신경망은 훈련 중에 관찰하지 못한 더 깊은 깊이의 구성적 개념으로 일반화할 수 있는가?
• RQ2 구성적 구조 내의 기저 객체가 새로운 구조적으로 유사한 객체로 대체될 경우, 신경망 모델은 일반화할 수 있는가?
• RQ3 최신 관계형 신경망(예: WReN, PrediNet)은 구성적 일반화 작업에서 표준 아키텍처를 초월하는 성능을 보이는가?
• RQ4 기본 개념을 복합 개념보다 먼저 학습하는 커리큘럼 훈련이 일반화 성능 향상에 기여하는가?
• RQ5 짧은 구성 체인 조건이라도 제로샷 구성 일반화에서 얼마나 심각하게 실패하는가?

주요 결과

• ResNet 및 PrediNet와 같은 최신 관계형 네트워크를 포함한 모든 평가된 모델이 짧은 구성 체인 조건에서도 대체 가능성 작업에서 효과적인 일반화에 실패했다.
• 2x2에서 4x4 패턴 사각형 작업(실험 3)에서 가장 높은 성능을 보인 모델(SimpleFeedForward)은 수직 줄무늬에서 F1 점수 0.5157, 셰이버보드에서 0.5074를 기록하여 일반화 능력이 열악함을 보였다.
• 시퀀스 대체 작업(실험 4)에서 ResNet은 한 번의 대체가 있는 유형 1 개념에서 F1 점수 0.603을 기록했지만, 두 번의 대체가 있는 시퀀스에서는 0.0005로 급격히 하락하여 거의 완전한 실패를 보였다.
• 커리큘럼 훈련을 적용한 경우에도 ResNet과 WReN는 고차원 시퀀스에서 성능 저하를 보였으며, 혼합 시퀀스 F1 점수는 각각 0.244와 0.1642로 하락했다.
• PrediNet과 WReN는 표준 CNN보다는 약간의 향상이 있었지만, 대부분의 대체 가능성 작업에서 F1 점수는 0.35 이하였으며, 구성성에 대한 관계적 인덕티브 바이어스가 약함을 시사했다.
• SimpleFeedForward 모델은 파란색과 빨간색과 같은 단순 개념에서는 거의 완벽한 성능(F1 ≈ 1.0)을 보였지만, 복잡한 패턴에서는 실패했으며, 원자적 특징을 초월한 구성적 일반화의 과제를 부각시켰다.