[논문 리뷰] Improving Systematic Generalization Through Modularity and Augmentation

Laura Ruis, Brenden M. Lake|arXiv (Cornell University)|2022. 02. 22.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 모듈러 아키텍처와 구조적 데이터 증강을 조합하여 기반 언어 이해를 위한 신경망에서 체계적 일반화를 향상시킨다. 모듈러리티가 새로운 부사-동사 조합으로의 일반화를 가능하게 하며, gSCAN 벤치마크에서 정확히 일치하는 성능을 각각 70%와 40% 향상시킨다. 성능은 증강 데이터의 양보다는 품질, 특히 목표 부사와의 유사도에 매우 민감하다.

ABSTRACT

Systematic generalization is the ability to combine known parts into novel meaning; an important aspect of efficient human learning, but a weakness of neural network learning. In this work, we investigate how two well-known modeling principles -- modularity and data augmentation -- affect systematic generalization of neural networks in grounded language learning. We analyze how large the vocabulary needs to be to achieve systematic generalization and how similar the augmented data needs to be to the problem at hand. Our findings show that even in the controlled setting of a synthetic benchmark, achieving systematic generalization remains very difficult. After training on an augmented dataset with almost forty times more adverbs than the original problem, a non-modular baseline is not able to systematically generalize to a novel combination of a known verb and adverb. When separating the task into cognitive processes like perception and navigation, a modular neural network is able to utilize the augmented data and generalize more systematically, achieving 70% and 40% exact match increase over state-of-the-art on two gSCAN tests that have not previously been improved. We hope that this work gives insight into the drivers of systematic generalization, and what we still need to improve for neural networks to learn more like humans do.

연구 동기 및 목표

• 기반 언어 작업에서 부사-동사 조합성에 의한 동작 시퀀스 변형에 특화된 체계적 일반화 과제를 해결한다.
• 모듈러리티와 데이터 증강이 알려지지 않은 언어적 요소 조합에 대한 일반화를 향상시킬 수 있는지 조사한다.
• 전이 학습을 위한 새로운 부사-동사 쌍에 대한 일반화를 가능하게 하는 어휘 크기와 부사 유사성의 역할을 규명한다.
• 부사 행동 규칙에서 유추된 규칙 기반으로 구조적 데이터 증강이 체계적 일반화 과제에서 모델 성능에 미치는 영향을 평가한다.
• 신경망이 구성적 언어 이해에서 인간처럼 더 잘 일반화할 수 있도록 하는 인덕티브 바이어스와 데이터 품질 요인에 대한 통찰을 제공한다.

제안 방법

• perception, navigation, reasoning 등의 모듈러 구성 요소로 언어 이해 과제를 분해하여 모듈러 신경망 아키텍처를 사용한다.
• 부사 행동을 규명하는 규칙을 유추하여, 예를 들어 '조심스럽게'는 특정한 회전 패턴을 요구한다는 식으로, 구조적 데이터 증강 기법을 설계한다.
• 원본 데이터보다 최대 40배 더 많은 예제를 포함하는 증강 데이터셋을 생성하며, 행동 효과가 유사한 부사 유형에 집중한다.
• 다양한 부사 유형과 유사도 수준을 포함한 증강 데이터의 부분집합을 사용하여 비모듈러 및 모듈러 모델을 훈련한다.
• 특히 '사이클하면서 조심스럽게'와 같은 알려지지 않은 부사-동사 조합에 대한 소수의 예제 일반화 성능을 gSCAN 벤치마크에서 평가한다.
• 제거 실험을 통해 어휘 크기, 부사 유사도, 데이터 분포가 일반화 성능에 미치는 영향을 분리하여 분석한다.

실험 결과

연구 질문

• RQ1 기반 언어 작업에서 부사-동사 조합성에 대해 신경망 아키텍처의 모듈러리티가 체계적 일반화를 향상시킬 수 있는가?
• RQ2 부사 행동 규칙 기반의 구조적 데이터 증강이 단순한 데이터 확장보다 더 나은 일반화를 가능하게 하는가?
• RQ3 증강된 부사와 목표 테스트 부사 간의 유사도가 전이 성능에 어떤 영향을 미치는가?
• RQ4 훈련 예제의 수량이 강력한 일반화를 위해 충분한가, 아니면 행동 유사도 기반의 데이터 품질이 더 중요한가?
• RQ5 다양한 부사 유형을 포함하지만 행동적으로 다를 경우, 새로운 조합에 대해 모델이 어느 정도 일반화할 수 있는가?

주요 결과

• 모듈러 신경망 아키텍처는 새로운 부사-동사 조합을 포함하는 두 개의 gSCAN 테스트에서 최고 성능 기준으로 각각 70%와 40%의 정확히 일치 성능 향상을 달성했다.
• 비모듈러 모델을 거의 40배 더 많은 예제(다양한 부사 포함)로 훈련시켜도 '사이클하면서 조심스럽게' 또는 '돌면서 당기기'에 대한 체계적 일반화를 달성하지 못했다.
• 유사한 행동 규칙(예: 동일한 회전 패턴)을 가진 단일 부사를 추가했을 때 '조심스럽게' 테스트 분할에서 성능이 급격히 향상되어, 근접 이웃 기반 추론이 작용했음을 시사한다.
• 다른 행동 클래스의 부사(예: '조심스럽게' 대신 '돌면서')를 추가하면 '조심스럽게' 분할에서 성능이 악화되어, 부적합한 데이터가 일반화를 떨어뜨릴 수 있음을 보여준다.
• 목표 부사 유형(예: '조심스럽게')의 예제 수가 10개를 초과하면 수익 감소 효과를 보이며, 이는 단순한 예제 수량으로는 충분하지 않음을 시사한다.
• 증강 데이터의 품질—특히 목표 부사와의 행동 유사도—가 일반화를 가능하게 하기 위해 양보다 더 중요하다.