[논문 리뷰] A Causal Framework to Quantify the Robustness of Mathematical Reasoning with Language Models

Alessandro Stolfo, Zhijing Jin외 3명|arXiv (Cornell University)|2022. 10. 21.

Topic Modeling인용 수 2

한 줄 요약

이 논문은 도-간섭(do-interventions)과 인과 중재 분석을 통해 수치적 피연산자, 연산자, 텍스트 표면 형태와 같은 입력 요인의 영향을 분리함으로써 언어 모델의 수학적 추론에서의 강건성(robustness)을 정량화하는 인과 추론 프레임워크를 제안한다. 주요 발견은 GPT-3 Davinci (175B) 모델이 다른 GPT 변종에 비해 강건성과 민감도에서 뚜렷한 향상을 보이며, 이는 추론 정밀도의 정성적 향상임을 시사한다.

ABSTRACT

We have recently witnessed a number of impressive results on hard mathematical reasoning problems with language models. At the same time, the robustness of these models has also been called into question; recent works have shown that models can rely on shallow patterns in the problem description when generating a solution. Building on the idea of behavioral testing, we propose a novel framework, which pins down the causal effect of various factors in the input, e.g., the surface form of the problem text, the operands, and math operators on the output solution. By grounding the behavioral analysis in a causal graph describing an intuitive reasoning process, we study the behavior of language models in terms of robustness and sensitivity to direct interventions in the input space. We apply our framework on a test bed of math word problems. Our analysis shows that robustness does not appear to continuously improve as a function of size, but the GPT-3 Davinci models (175B) achieve a dramatic improvement in both robustness and sensitivity compared to all other GPT variants.

연구 동기 및 목표

• 수학적 추론 작업에서 언어 모델의 강건성을 평가하기 위한 원리적이고 종합적인 프레임워크가 부족한 문제를 해결하기 위해.
• 대규모 언어 모델이 진정으로 수학적 추론을 학습하는지, 아니면 문제 서술의 표면적 패턴에 의존하는지 조사하기 위해.
• 입력 요인들—예를 들어 수치적 피연산자, 연산자, 텍스트 프레임링—이 모델 예측에 미치는 인과적 영향을 분리하기 위해.
• 수학 단어 문제에서 인과 추론을 활용하여 강건성 테스트를 공식화하고 행동 기반으로 제공하는 방법을 제시하기 위해.
• 모델 크기와 지시 미세조정(instruction tuning)가 수학적 추론에서의 강건성과 민감도에 미치는 영향을 평가하기 위해.

제안 방법

• 저자들은 인간과 유사한 추론을 모델링하는 인과 그래프를 구축하였으며, 노드는 입력 요인(피연산자 N, 연산자 O, 텍스트 표면 형태 S, 참값 결과 G)과 모델 예측 R을 나타낸다.
• 도-간섭을 적용하여 특정 입력 요인(예: N1, N2)을 조작하면서 참값 결과 G는 고정함으로써, 예측에 대한 직접적인 인과 효과를 추정한다.
• 인과 중재 분석을 사용하여 입력 요인의 총 효과를 직접 효과와 간접 효과로 분해함으로써, 허위 상관관계와 진정한 추론을 분리한다.
• 이 프레임워크는 13개의 GPT 모델, 즉 지시 미세조정된 모델과 그렇지 않은 모델을 포함하여 다양한 모델 크기에서의 강건성과 민감도를 측정하기 위해 적용된다.
• 이 방법은 제어된 간섭 하에서 모델 행동의 변화를 정량화하기 위해 확률적 예측 분포 P(R)를 사용한다.
• 이 방법은 의미를 유지하면서 특정 입력 성분을 변경하는 간섭을 설계한 수학 단어 문제 벤치마크에서 검증된다.

실험 결과

연구 질문

• RQ1 언어 모델이 진정한 산술 추론이 아닌, 수학 단어 문제의 표면적 패턴에 얼마나 의존하는가?
• RQ2 수치적 피연산자, 연산자, 텍스트 프레임링과 같은 다양한 입력 요인이 모델 예측에 어떻게 인과적으로 영향을 미치는가?
• RQ3 모델 크기 또는 지시 미세조정이 강건성에 대해 연속적인 향상을 가져오는가, 아니면 질적 임계점 효과가 존재하는가?
• RQ4 참값 결과 G로 캡처된 인간 추론과 비교했을 때, 모델 예측의 인과 메커니즘이 어떻게 다를까?
• RQ5 인과 추론 기법을 체계적으로 적용하여 LLM의 수학적 추론에서의 행동 강건성을 정량화하고 벤치마킹할 수 있는가?

주요 결과

• GPT-3 Davinci (175B) 모델은 다른 모든 GPT 변종에 비해 강건성과 민감도에서 뚜렷한 향상을 보이며, 이는 추론 정밀도의 정성적 향상임을 시사한다.
• 지시 미세조정되지 않은 모델들 중에서는 모델 크기가 클수록 참값 결과의 변화에 대해 민감도가 증가하지만, 강건성 향상과는 반드시 관련되지 않는다.
• 지시 미세조정된 GPT-3 모델들은 강건성과 민감도가 뚜렷이 향상되어, 지시 데이터로의 미세조정이 인과 추론 행동을 향상시킨다는 것을 시사한다.
• 지시 미세조정된 모델의 강건성은 문제 복잡도가 증가함에 따라 감소하며, 일반화 능력과 복잡도 처리 능력 사이의 상충관계를 보여준다.
• LLaMA 패밀리 모델들은 지시 미세조정(예: Stanford Alpaca)이 강건성을 향상시키지만 성능 전반에 큰 향상은 주지 않아, 이 설정에서는 수익 감소 효과가 나타남을 시사한다.
• 이 프레임워크는 표면 형태 S와 예측 R 사이의 허위 상관관계(예: 텍스트 프레임링)를 성공적으로 식별하여, 모델이 수치적 내용과 무관하게 텍스트 프레임링에 의해 오도될 수 있음을 드러낸다.