[論文レビュー] A Joint Probabilistic Classification Model of Relevant and Irrelevant Sentences in Mathematical Word Problems

Suleyman Cetintas, Luo Si+4 more|arXiv (Cornell University)|Dec 1, 2010

Topic Modeling参考文献 24被引用数 4

ひとこと要約

本稿では、すべての文同士の相関関係および質問と他の文との相関関係をモデル化することで、数学的単語問題における関連する文と関連のない文を特定するための共同確率的分類モデルを提案する。実験の結果、独立SVM分類と相関関係に配慮したSVMを上回ることを示し、共同モデリングが分類精度を向上させること、およびストップワードの削除がこのタスクにおいて逆効果であることを示している。

ABSTRACT

Estimating the difficulty level of math word problems is an important task for many educational applications. Identification of relevant and irrelevant sentences in math word problems is an important step for calculating the difficulty levels of such problems. This paper addresses a novel application of text categorization to identify two types of sentences in mathematical word problems, namely relevant and irrelevant sentences. A novel joint probabilistic classification model is proposed to estimate the joint probability of classification decisions for all sentences of a math word problem by utilizing the correlation among all sentences along with the correlation between the question sentence and other sentences, and sentence text. The proposed model is compared with i) a SVM classifier which makes independent classification decisions for individual sentences by only using the sentence text and ii) a novel SVM classifier that considers the correlation between the question sentence and other sentences along with the sentence text. An extensive set of experiments demonstrates the effectiveness of the joint probabilistic classification model for identifying relevant and irrelevant sentences as well as the novel SVM classifier that utilizes the correlation between the question sentence and other sentences. Furthermore, empirical results and analysis show that i) it is highly beneficial not to remove stopwords and ii) utilizing part of speech tagging does not make a significant improvement although it has been shown to be effective for the related task of math word problem type classification.

研究の動機と目的

• 数学的単語問題における文の関連性・非関連性を分類する精度を向上させること。
• 質問と他の文を含む、単語問題内のすべての文間の依存関係をモデル化すること。
• テキスト特徴量のみを用いる場合と比較して、文の相関関係を組み込むことで分類パフォーマンスが向上するかを評価すること。
• ストップワードの削除や品詞タグの付与といった前処理の選択が、分類効果に与える影響を調査すること。

提案手法

• 本稿では、問題に含まれるすべての文における分類意思決定の同時確率を推定するための共同確率的分類モデルを開発した。
• 文同士の相関関係および質問と他の文との相関関係を活用することで、分類の一貫性を向上させた。
• 文のテキストと構造的関係（例：質問-文リンク）を入力特徴として用いた。
• 本手法は、独立SVM分類器と相関関係に配慮したSVM（質問-文関係を活用）という2つのベースラインと比較した。
• 一括最適化ステップで、すべての文の関連性ラベルを同時に予測するために確率的推論を用いた。
• 特徴工学には、元のテキスト、品詞タグ、語彙的特徴を用い、前処理の選択に関するアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 文間の相関関係をモデル化することで、数学的単語問題における関連/非関連文の分類が向上するか？
• RQ2 質問と他の文との関係を組み込むことで、分類パフォーマンスが向上するか？
• RQ3 ストップワードの削除は、数学的単語問題における文の関連性分類に有益か？
• RQ4 品詞タグの付与は、この文脈で分類精度を顕著に向上させるか？
• RQ5 共同確率的モデルは、独立SVMおよび相関関係に配慮したSVMベースラインと比較してどのように異なるか？

主な発見

• 共同確率的モデルは、独立SVMおよび相関関係に配慮したSVMの両方を著しく上回った。
• すべての文間の依存関係および質問と他の文との関係を活用することで、F1スコアが向上した。
• 実験的結果から、ストップワードの削除は分類パフォーマンスを損なうことが判明し、このタスクではストップワードの保持が有益であることが示された。
• 品詞タグの付与は、数学的単語問題のタイプ分類などの関連NLPタスクでは有効であるものの、本研究の文脈では顕著な向上をもたらさなかった。
• 相関関係に配慮したSVMは独立SVMを上回ったことから、質問と他の文との構造的関係が情報として有効であることが確認された。
• 共同モデルの性能向上は、グローバルな依存関係を用いてすべての文分類の一貫性を強制できる点に起因するとされた。