[논문 리뷰] Benchmarking Compositionality with Formal Languages

Josef Valvoda, Naomi Saphra외 3명|arXiv (Cornell University)|2022. 08. 17.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 신경망 순서-순서 모델이 형식 언어를 사용하여 조합적 문자열-문자열 변환을 학습할 수 있는지 조사한다. 결정성 유한 상태 변환기(SFST)에서 샘플링을 통해 저자들은 모델이 완전히 일반화하거나 완전히 실패하는 경향을 보이며, 전이 커버리지(전이당 약 400개의 예시가 필요)가 학습 가능성의 핵심 예측자로 나타나지만, SCAN 데이터셋과 같은 예외들은 더 복잡한 형식 체계가 필요한 완전한 이론을 위해 더 복잡한 형식 체계가 필요하다는 것을 시사한다.

ABSTRACT

Recombining known primitive concepts into larger novel combinations is a quintessentially human cognitive capability. Whether large neural models in NLP can acquire this ability while learning from data is an open question. In this paper, we investigate this problem from the perspective of formal languages. We use deterministic finite-state transducers to make an unbounded number of datasets with controllable properties governing compositionality. By randomly sampling over many transducers, we explore which of their properties contribute to learnability of a compositional relation by a neural network. We find that the models either learn the relations completely or not at all. The key is transition coverage, setting a soft learnability limit at 400 examples per transition.

연구 동기 및 목표

• 신경 순서-순서 모델이 문자열-문자열 변환에서 조합적 일반화를 학습할 수 있는지 조사하기.
• 형식 언어의 성질이 신경망이 체계적 관계를 학습할 수 있는지에 영향을 주는지를 평가하기.
• 모델 일반화 행동을 예측하는 신뢰할 수 있는 데이터 기반 복잡도 지표를 특정하기.
• 유한 상태 변환기를 사용하여 SFST로 분석함으로써 기존의 SCAN 기준을 도전하기.
• 서브정규 언어를 넘는 더 높은 수준의 형식 체계가 더 일관된 학습 가능성 예측을 제공할 수 있는지 탐색하기.

제안 방법

• 저자들은 제어 가능한 문자열-문자열 변환 작업의 대규모이고 다양한 세트를 생성하기 위해 결정성 유한 상태 변환기(SFST)를 사용한다.
• 2,800개의 SFST를 무작위로 샘플링하고, 각 변환기에서 입력-출력 쌍을 샘플링하여 훈련 데이터 세트를 생성한다.
• 신경 순서-순서 모델을 이러한 데이터 세트에 훈련시켜 조합적 일반화 능력을 평가한다.
• 분석의 핵심 지표는 SFST의 각 전이를 통해 지나가는 훈련 예시 수인 전이 커버리지이다.
• 다양한 구조적 복잡도와 커버리지 수준을 가진 SFST 간의 모델 성능을 비교한다.
• SCAN 데이터셋을 SFST로 역공학하여 전이 커버리지의 예측 능력을 실제 기준에서 테스트한다.

실험 결과

연구 질문

• RQ1 신경 순서-순서 모델은 유한 상태 변환기에 의해 생성된 문자열-문자열 변환에서 완전한 조합적 일반화를 달성할 수 있는가?
• RQ2 SFST의 어떤 형식 언어 성질이 신경 모델이 주어진 변환을 학습할 수 있는지를 가장 강하게 예측하는가?
• RQ3 전이 커버리지(전이당 훈련 예시 수)가 모델 일반화를 신뢰할 수 있는 예측자로 기능하는가?
• RQ4 SCAN 데이터셋은 낮은 전이 커버리지에도 불구하고 왜 신경 모델에 의해 학습 가능한가?
• RQ5 문맥 자유 문법과 같은 더 높은 수준의 형식 체계에 뿌리를 둔 더 세밀한 복잡도 지표는 서브정규 수준의 측정보다 더 나은 학습 가능성 예측을 가능하게 하는가?

주요 결과

• 신경 순서-순서 모델은 일반화에 대해 날카로운 임계점을 보이며, 부분적인 성공 없이 완전히 일반화하거나 완전히 실패한다.
• 무작위로 샘플된 SFST 전역에서 전이당 약 400개의 예시가 필요한 전이 커버리지가 성공적인 일반화의 강력한 예측자로 나타난다.
• SCAN 데이터셋은 전이 커버리지 규칙의 예외로, 낮은 커버리지에도 불구하고 학습 가능하며, 이는 더 복잡한 형식 체계로 더 잘 기술될 수 있음을 시사한다.
• 어텐션 메커니즘을 추가하면, 모델은 복잡한 정규 문자열 복사 함수를 신뢰성 있게 학습하며, 그 어텐션 패tern은 기반의 변환기의 유도 과정을 반영한다.
• 결과적으로 서브정규 수준의 복잡도 지표인 전이 커버리지는 모든 경우에 학습 가능성 예측에 부적합하며, 특히 더 높은 수준의 문법적 구조가 관련된 경우에 더욱 그렇다.
• 이 연구는 향후 연구가 채우키 계층의 더 높은 수준의 형식 체계를 탐색하여 모델 학습 행동을 더 잘 반영하는 본질적 복잡도 지표를 찾는 것이 바람직하다고 암시한다.