[논문 리뷰] Measuring Compositional Generalization: A Comprehensive Method on Realistic Data

Daniel Keysers, Nathanael Schärli외 12명|arXiv (Cornell University)|2019. 12. 20.

Topic Modeling참고 문헌 39인용 수 141

한 줄 요약

본 논문은 분포 기반 구성적 일반성 평가(DBCA)를 정형화하고, 구성 일반화를 측정하기 위한 CFQ 데이터셋을 구축하며, 학습-테스트 간의 합성물 발산이 커질수록 표준 모델의 성능이 저하되고 원자 분포가 비슷하게 유지된다는 것을 보인다.

ABSTRACT

State-of-the-art machine learning methods exhibit limited compositional generalization. At the same time, there is a lack of realistic benchmarks that comprehensively measure this ability, which makes it challenging to find and evaluate improvements. We introduce a novel method to systematically construct such benchmarks by maximizing compound divergence while guaranteeing a small atom divergence between train and test sets, and we quantitatively compare this method to other approaches for creating compositional generalization benchmarks. We present a large and realistic natural language question answering dataset that is constructed according to this method, and we use it to analyze the compositional generalization ability of three machine learning architectures. We find that they fail to generalize compositionally and that there is a surprisingly strong negative correlation between compound divergence and accuracy. We also demonstrate how our method can be used to create new compositionality benchmarks on top of the existing SCAN dataset, which confirms these findings.

연구 동기 및 목표

• 구성 일반화를 측정하기 위해 합성물 발산을 최대화하면서 원자 분포를 유사하게 유지하는 학습/테스트 분할의 원리적 방법 정의
• 구성성 평가를 위한 대규모 현실적 NLQ→SPARQL 데이터셋 CFQ를 도입
• CFQ와 SCAN 간의 데이터셋 전반에 걸친 구성성 분할을 구성하고 비교하기 위한 프레임워크 제공
• 이 분할들에서 기본 신경망 아키텍처를 분석하여 구성적 일반화 능력을 정량화

제안 방법

• DBCA(Distribution-Based Compositionality Assessment)를 도입하여 학습/테스트 세트 간 원자와 합성물 발산을 정량화
• 각 예제를 원자(규칙)와 합성물(규칙 적용)로 구성하고, 가중 서브그래프 분포와 Chernoff 계수(원자에 대해서는 Bhattacharyya, 합성물은 0.1-매개변수)로 발산을 계산
• 규칙 적용의 명시적 DAG를 가진 자동화된 규칙 기반 생성을 통해 CFQ를 구성하고 원자/합성물 추적
• 목표 합성물 발산과 제약된 원자 발산(≤0.02)을 가진 학습/테스트 분할을 생성하는 반복적 탐욕 알고리즘 사용
• 다른 구성 분할과의 비교(출력/입력 길이, 패턴 기반 분할 등) 및 CFQ와 SCAN 전반에 걸쳐 분석
• 다양한 발산 기반 분할 하에서 CFQ와 SCAN에서 세 가지 기준선(LSTM+attention, Transformer, Universal Transformer)을 평가

실험 결과

연구 질문

• RQ1 구성 일반화를 측정하기에 적합한 분할의 적합도를 양적화하는 방법(DBCA 원칙)?
• RQ2 원자 발산은 낮게 유지하고 합성물 발산을 최대화했을 때 모델 성능에 미치는 영향은?
• RQ3 최신 아키텍처가 CFQ와 SCAN과 같은 현실적인 벤치마크에서 구성적으로 일반화하는가?
• RQ4 CFQ와 제안된 분할들이 신경망 모델의 의미론 파싱 및 내비게이션 과제에서의 강건성 격차를 드러내는가?

주요 결과

• 기본 아키텍처(LSTM+attention, Transformer, Universal Transformer)는 CFQ MCD 분할에서 구성적으로 일반화하는 데 실패(평균 정확도 < 20%).
• 합성물 발산과 정확도 간에 모든 모델과 과제에서 강한 음의 상관관계가 있음.
• 최대 합성물 발산이면서 낮은 원자 발산을 가진 CFQ와 SCAN 분할이 무작위 분할이나 다른 전통적 분할보다 난이도가 높다.
• CFQ에서 무작위 분할은 95% 이상 정확도를 보이나, MCD 분할은 모든 모델에서 상당히 감소(~14.9–18.9% 대 ~97–99% 참고).
• 합성물 발산은 테스트 정확도의 강력한 예측 변수이며, 단순 길이 기반이나 패턴 기반 분할 기준보다 더 큰 예측력을 보인다.
• CFQ는 이전 의미론 파싱 데이터셋보다 더 풍부한 구성 주석과 더 다양한 쿼리 패턴을 제공하여 구성성 분석을 강화한다.