[논문 리뷰] A Joint Probabilistic Classification Model of Relevant and Irrelevant Sentences in Mathematical Word Problems

Suleyman Cetintas, Luo Si외 4명|arXiv (Cornell University)|2010. 12. 01.

Topic Modeling참고 문헌 24인용 수 4

한 줄 요약

이 논문은 모든 문장 간 상관관계와 질문과 다른 문장 간 상관관계를 모델링하여 수학적 단어 문제에서 관련 문장과 비관련 문장 식별을 위한 연합 확률 분류 모델을 제안한다. 실험 결과, 독립적 SVM 분류기와 상관관계 인식 SVM보다 성능이 뛰어나며, 연합 모델링이 분류 정확도를 향상시키고, 정규어 제거가 이 작업에 반대되는 것으로 나타났다.

ABSTRACT

Estimating the difficulty level of math word problems is an important task for many educational applications. Identification of relevant and irrelevant sentences in math word problems is an important step for calculating the difficulty levels of such problems. This paper addresses a novel application of text categorization to identify two types of sentences in mathematical word problems, namely relevant and irrelevant sentences. A novel joint probabilistic classification model is proposed to estimate the joint probability of classification decisions for all sentences of a math word problem by utilizing the correlation among all sentences along with the correlation between the question sentence and other sentences, and sentence text. The proposed model is compared with i) a SVM classifier which makes independent classification decisions for individual sentences by only using the sentence text and ii) a novel SVM classifier that considers the correlation between the question sentence and other sentences along with the sentence text. An extensive set of experiments demonstrates the effectiveness of the joint probabilistic classification model for identifying relevant and irrelevant sentences as well as the novel SVM classifier that utilizes the correlation between the question sentence and other sentences. Furthermore, empirical results and analysis show that i) it is highly beneficial not to remove stopwords and ii) utilizing part of speech tagging does not make a significant improvement although it has been shown to be effective for the related task of math word problem type classification.

연구 동기 및 목표

• 수학적 단어 문제에서 문장의 관련성 또는 비관련성을 분류하는 정확도를 향상시키기.
• 문제 내 모든 문장 간의 종속관계, 특히 질문과 다른 문장 간의 관계를 모델링하기.
• 텍스트 특징만 사용하는 것과 비교해 문장 간 상관관계를 통합함으로써 분류 성능 향상 여부 평가하기.
• 정규어 제거 및 어근형 태깅과 같은 전처리 선택 사항이 분류 효과성에 미치는 영향 조사하기.

제안 방법

• 문제 내 모든 문장의 분류 결정에 대한 연합 확률를 추정하기 위해 연합 확률 분류 모델을 개발하였다.
• 문장 간 상관관계와 질문과 다른 문장 간 상관관계를 활용하여 분류 일관성을 향상시켰다.
• 문장 텍스트와 구조적 관계(예: 질문-문장 링크)를 입력 특징으로 사용하였다.
• 독립적 SVM 분류기와 질문-문장 관계를 고려한 상관관계 인식 SVM이라는 두 기준 모델과 비교하였다.
• 단일 최적화 단계에서 모든 문장의 관련성 레이블을 동시에 예측하기 위해 확률적 추론을 적용하였다.
• 특징 공학에는 원본 텍스트, 어근형 태깅, 어휘적 특징을 포함하며, 전처리 선택 사항에 대한 분석도 수행하였다.

실험 결과

연구 질문

• RQ1 문장 간 상관관계를 모델링하면 수학적 단어 문제에서 관련 문장과 비관련 문장의 분류 성능 향상에 기여하는가?
• RQ2 질문과 다른 문장 간의 관계를 통합하면 분류 성능 향상에 기여하는가?
• RQ3 정규어 제거는 수학적 단어 문제에서 문장 관련성 분류에 유익한가?
• RQ4 어근형 태깅은 이 맥락에서 분류 정확도 향상에 유의미한 기여를 하는가?
• RQ5 연합 확률 모델은 독립적 및 상관관계 인식 SVM 기준 모델과 비교해 어떻게 성능을 냈는가?

주요 결과

• 연합 확률 모델은 독립적 SVM 및 상관관계 인식 SVM 모두를 뛰어나는 성능을 보였다.
• 모델은 모든 문장 간 상관관계와 질문과 다른 문장 간 관계를 활용하여 F1 점수를 높였다.
• 실험 결과, 정규어 제거가 분류 성능을 저하시키는 것으로 나타나, 이 작업에 있어 정규어 유지가 유리함을 시사했다.
• 어근형 태깅은 관련 NLP 작업(예: 수학적 단어 문제 유형 분류)에서 알려진 바와 달리 유의미한 성능 향상을 이끌지 못했다.
• 상관관계 인식 SVM는 독립적 SVM보다 성능이 뛰어나, 질문과 다른 문장 간의 구조적 관계가 유용한 정보임을 확인했다.
• 연합 모델의 성능 향상은 전역적 종속성을 활용해 모든 문장 분류의 일관성을 강제할 수 있었기 때문으로 기인된다.