[논문 리뷰] On the Paradox of Learning to Reason from Data

Honghua Zhang, Liunian Harold Li외 3명|arXiv (Cornell University)|2022. 05. 23.

Natural Language Processing Techniques인용 수 7

한 줄 요약

이 논문은 BERT가 제한된 문제 공간 내에서 자연어 데이터로부터 논리적 추론을 학습할 수 있는지 조사한다. 내분포 예제에서 거의 완벽한 정확도를 달성했음에도 불구하고, BERT는 동일한 문제 공간에 대해 다른 분포로 일반화하지 못한다. 그 이유는 추론 문제에 내재된 통계적 패턴을 학습하기 때문이며, 올바른 추론 함수를 학습하지 못한다. 이 연구는 이러한 통계적 특징을 제거하는 것이 계산적으로 불가능하다는 것을 드러내며, 데이터로부터 추론을 학습할 때의 근본적인 딜레마를 폭 드러낸다.

ABSTRACT

Logical reasoning is needed in a wide range of NLP tasks. Can a BERT model be trained end-to-end to solve logical reasoning problems presented in natural language? We attempt to answer this question in a confined problem space where there exists a set of parameters that perfectly simulates logical reasoning. We make observations that seem to contradict each other: BERT attains near-perfect accuracy on in-distribution test examples while failing to generalize to other data distributions over the exact same problem space. Our study provides an explanation for this paradox: instead of learning to emulate the correct reasoning function, BERT has in fact learned statistical features that inherently exist in logical reasoning problems. We also show that it is infeasible to jointly remove statistical features from data, illustrating the difficulty of learning to reason in general. Our result naturally extends to other neural models and unveils the fundamental difference between learning to reason and learning to achieve high performance on NLP benchmarks using statistical features.

연구 동기 및 목표

• 제한된 문제 공간 내에서 BERT와 같은 신경망 모델이 자연어 데이터로부터 논리적 추론을 학습할 수 있는지 조사하기 위해.
• 논리적 추론 작업에서 높은 내분포 정확도와 낮은 외분포 일반화 능력이 동시에 발생하는 역설을 해결하기 위해.
• 모델이 올바른 추론 함수를 학습하는지, 아니면 추론 문제에 내재된 통계적 아티팩트에 의존하는지 확인하기 위해.
• 훈련 데이터에서 통계적 특징을 제거하는 것이 진정한 추론 일반화를 가능하게 할 수 있는지 가능성 조사하기 위해.
• 논리적 추론 예제에 피할 수 없는 통계적 편향이 존재하기 때문에, 데이터로부터 추론을 학습하는 데에 존재하는 근본적 과제를 규명하기 위해.

제안 방법

• 연구는 고정된 규칙과 사실을 가진 자연어 논리적 추론 문제로 구성된 제한된 문제 공간인 SimpleLogic을 사용한다.
• BERT는 전체 문제 공간을 커버하는 훈련 분포에서 미세조정되어 내분포 성능 평가 및 다른 분포로의 일반화 평가를 위해 사용된다.
• 레이블과의 상관관계를 분석하기 위해 통계적 특징인 규칙 수 (#rule), 사실 수 (#fact), 분기 계수 (b) 등을 분석한다.
• 특정 특징 값이 주어졌을 때 레이블의 확률 불균형을 정량화하여 특징이 레이블을 얼마나 강하게 예측하는지 평가한다.
• 다중 통계적 특징을 동시에 제거할 경우 조건부 확률을 균형 잡기 위해 필요한 예제 수를 추정하기 위해 샘플링 기반 접근법을 사용한다.
• 분석 결과, 다중 통계적 특징을 동시에 제거할 경우 필요한 계산 비용은 고려된 특징 수에 따라 지수적으로 증가함을 입증한다.

실험 결과

연구 질문

• RQ1 BERT는 제한된 문제 공간 내에서 다양한 데이터 분포로 일반화하면서도 논리적 추론 작업에서 높은 성능을 달성할 수 있는가?
• RQ2 BERT는 왜 내분포 정확도가 거의 완벽한데도 불구하고 동일한 문제 공간의 다른 분포로 일반화하지 못하는가?
• RQ3 논리적 추론 문제에 내재된 통계적 특징, 예를 들어 #rule 또는 #fact는 얼마나 모델 예측에 영향을 미치며, 이는 추론 자체의 영향보다 더 큰가?
• RQ4 훈련 데이터에서 다중 통계적 특징을 제거하는 것이 진정한 추론 일반화를 가능하게 하기 위해 계산적으로 가능한가?
• RQ5 NLP 벤치마크에서 추론을 학습하는 것과 통계적 패턴을 악용하는 것 사이의 근본적 차이는 무엇인가?

주요 결과

• BERT는 SimpleLogic 문제 공간의 내분포 테스트 예제에서 거의 완벽한 정확도(약 100%)를 달성했음에도 불구하고, 분포 이동이 존재하는 상황에서도 성능을 유지한다.
• 정확한 추론 함수가 그대로 유지되는 상황에서도 BERT는 동일한 문제 공간의 다른 분포로 일반화하지 못한다.
• 통계적 특징인 #rule, #fact, 분기 계수는 레이블과 강한 상관관계를 보이며, 예를 들어 Pr(label=1 | #rule=58) = 0.991처럼 강력한 예측 신호가 된다.
• 더 많은 통계적 특징을 조합할수록 조건부 확률 Pr(label=1 | X)는 점점 불균형해지며, 균형을 맞추기 위해 지수적으로 더 많은 샘플이 필요하다.
• Pr(label=1 | f=15, b∈[2.65,2.75])의 균형을 맞추기 위해 필요한 최소 예제 수는 #fact, 분기_계수, #rule를 추가할 때 각각 5.5×에서 20.0×로, 55.6×로 증가한다.
• 통계적 특징을 다중으로 동시에 제거하기 위해 필요한 샘플링 비용이 지수적으로 증가함에 따라, 훈련 데이터에서 다중 통계적 특징을 동시에 제거하는 것은 계산적으로 불가능하다.