[논문 리뷰] Compositional Processing Emerges in Neural Networks Solving Math Problems

Jacob Russin, Roland Fernandez외 5명|arXiv (Cornell University)|2021. 05. 19.

Natural Language Processing Techniques참고 문헌 13인용 수 21

한 줄 요약

이 논문은 신경망이 수학 문제를 조합적 처리 방식으로 해결하는지 조사한다—표현식을 부분적으로 분해하고, 그 값들을 계산하며, 연산 순서와 같은 규칙에 따라 조합하는 방식이다. 수학 데이터셋에서 훈련된 트랜스포머 모델의 활성화 분석을 통해, 연산자 위치에서 부분 결과의 표현이 명백하게 나타나는 강력한 증거를 발견하였으며, 이는 모델이 조합적 의미론을 암묵적으로 학습하고 적용하지만, 구조적 설계 없이도 이를 수행한다는 것을 시사한다.

ABSTRACT

A longstanding question in cognitive science concerns the learning mechanisms underlying compositionality in human cognition. Humans can infer the structured relationships (e.g., grammatical rules) implicit in their sensory observations (e.g., auditory speech), and use this knowledge to guide the composition of simpler meanings into complex wholes. Recent progress in artificial neural networks has shown that when large models are trained on enough linguistic data, grammatical structure emerges in their representations. We extend this work to the domain of mathematical reasoning, where it is possible to formulate precise hypotheses about how meanings (e.g., the quantities corresponding to numerals) should be composed according to structured rules (e.g., order of operations). Our work shows that neural networks are not only able to infer something about the structured relationships implicit in their training data, but can also deploy this knowledge to guide the composition of individual meanings into composite wholes.

연구 동기 및 목표

• 수학 어휘 문제를 훈련시킨 신경망이 인간의 인지와 유사하게 암묵적으로 조합적 의미론을 학습하고 적용하는지 조사하기.
• 모델이 산술 표현식을 부분적으로 분해하고, 그 값들을 계산하며, 연산 순서와 같은 구조적 규칙에 따라 조합하는지 확인하기.
• 표준 트랜스포머와 TP-트랜스포머에서 조합적 처리가 암묵적으로 어떻게 발생하는지, 조합성에 대한 명시적 아키텍처적 지원 없이도 가능한지 평가하기.
• 학습된 표현이 부분 결과를 얼마나 잘 캡처하는지, 특히 연산자 위치에서의 표현을 평가하기.
• 암묵적인 조합성의 영향을 신경망의 일반화 및 체계적 추론 능력에 미치는 함의를 이해하기.

제안 방법

• 수학 데이터셋에서 표준 트랜스포머와 TP-트랜스포머를 훈련시켰으며, 이 데이터셋에는 다양한 분야의 1억 1,200만 개의 수학 어휘 문제를 포함한다.
• 숨겨진 상태 활성화를 입력 시퀀스 전반에 걸쳐 분석하여 부분 결과(예: '4*5'의 값 20)가 언제이고 어디서 표현되는지 탐지하기 위해 표현 탐지(probing)를 수행하였다.
• 숨겨진 상태와 기대되는 부분 결과(예: '4*5'에 대한 20) 사이의 상관관계 분석을 통해 부분 표현 값과 일치하는 표현을 식별하였다.
• 특히 연산자 위치에서 피연산자의 결과값(예: '+' 또는 '*' 위치에서 피연산자들의 합 또는 곱)이 어떻게 표현되는지 테스트하기 위해 연산자 위치에 집중하였다.
• 입력 시퀀스 전반에 걸쳐 재계산된 상관관계를 통해 구성 요소 기호(예: 숫자와 연산자)가 그들의 부분 표현 값에 대해 어떤 정보를 담고 있는지 평가하였다.
• 표준 트랜스포머와 TP-트랜스포머 간의 결과를 비교하여 텐서 곱 표현이 조합적 학습에 어떤 영향을 미치는지 평가하였다.

실험 결과

연구 질문

• RQ1 수학 문제를 훈련시킨 신경망이 표현식을 부분적으로 분해하고, 그 값들을 조합적으로 계산하는 방식으로 암묵적으로 학습하는가?
• RQ2 숨겨진 상태 표현, 특히 연산자 위치에서 부분 결과의 표현이 암묵적으로 캡처되는가?
• RQ3 표준 트랜스포머와 TP-트랜스포머 간의 조합적 의미론 표현 능력에 어떤 차이가 있는가?
• RQ4 부분 결과 표현의 존재가 분포 외 문제에 대한 일반화 능력 향상과 관련이 있는가?
• RQ5 신경망에서 암묵적으로 발생하는 조합적 처리 방식이 체계적 추론과 조합적 일반화와 어떻게 연결되는가?

주요 결과

• 표준 트랜스포머와 TP-트랜스포머 모두에서 연산자 위치의 은닉 상태 표현이 부분 표현의 수치적 값과 강한 상관관계를 보이며, 예를 들어 '4*5+2*3'에서 TP-트랜스포머의 경우 r = 0.47의 상관계수를 기록하였다.
• 구성 요소 기호(예: 숫자와 연산자)의 표현도 부분 표현 값에 대한 정보를 담고 있으며, 부분 결과에 대한 상관계수는 TP-모델에서 r = 0.201, 표준 모델에서 r = 0.189이었다.
• 은닉 상태와 부분 결과 사이의 상관계수는 연산자 위치에서 최고로 나타나며, 이는 이러한 위치가 중간 계산 결과를 캡처하고 있음을 시사한다.
• 강력한 조합적 처리의 증거가 있음에도 불구하고 상관계수는 완벽하지 않아, 표현이 양의 양상 외에도 구성 요소의 구조와 맥락을 포함하고 있을 가능성이 있음을 시사한다.
• 모델들은 외삽 작업(예: 더 큰 수, 더 많은 항)에서 일반화 능력이 떨어지며, 이는 암묵적인 조합성이 불완전하고 체계적 일반화를 위한 충분한 수준이 아니라는 것을 시사한다.
• 결과는 조합성이 대규모 다양성 데이터에 대한 대규모 훈련을 통해 신경망에서 암묵적으로 발생할 수 있으며, 조합성에 대한 명시적 아키텍처적 지원 없이도 가능하다는 것을 시사한다.