[論文レビュー] Experiments on Paraphrase Identification Using Quora Question Pairs Dataset

Andreas Chandra, Ruben Stefanus|arXiv (Cornell University)|Jun 4, 2020

Topic Modeling参考文献 27被引用数 10

ひとこと要約

本論文は、Quoraの質問ペアデータセットを用いて、複数の機械学習アプローチを用いて類義語同定を調査している。Bag of Words、TF-IDF、およびXGBoostとCatBoostを用いたWordPieceトークン化を採用し、最大97％の精度を達成した。これは、サブワードトークン化が従来の手法よりも顕著に性能を向上させることを示している。

ABSTRACT

We modeled the Quora question pairs dataset to identify a similar question. The dataset that we use is provided by Quora. The task is a binary classification. We tried several methods and algorithms and different approach from previous works. For feature extraction, we used Bag of Words including Count Vectorizer, and Term Frequency-Inverse Document Frequency with unigram for XGBoost and CatBoost. Furthermore, we also experimented with WordPiece tokenizer which improves the model performance significantly. We achieved up to 97 percent accuracy. Code and Dataset.

研究の動機と目的

• Quoraの質問ペアデータセットにおける類義語同定の性能を、多様な特徴抽出およびモデリング手法を用いて向上させること。
• カウントベクトルライザーおよびTF-IDFのような従来のNLP手法と、最新のサブワードトークン化（WordPiece）を、二値分類設定において比較して有効性を評価すること。
• XGBoostとCatBoostの性能を、Quoraの類義語検出タスクにおいて比較すること。
• 高度なトークン化が、類義語検出におけるモデルの汎化性能と精度を向上させるかどうかを特定すること。

提案手法

• 入力表現としてユニグラム特徴を用いたカウントベクトルライザーおよびTF-IDFによる特徴抽出。
• 形態素の変化やレアワードをよりよく捉えるために、WordPieceトークン化の適用。
• エンジニアリングされた特徴量を用いて、XGBoostおよびCatBoost分類器を訓練し、質問ペアの二値分類を実行。
• Quoraの質問ペアデータセット上で、主に正解率を指標としてモデルを評価。
• 異なる構成におけるモデル性能最適化のため、ハイパーパramータチューニングと交差検証の実施。
• 特徴抽出の前段階で、小文字変換、標点記号の除去、ストップワードフィルタリングを含む標準的な前処理手順の使用。

実験結果

リサーチクエスチョン

• RQ1 従来のBag-of-WordsおよびTF-IDF手法と比較して、WordPieceトークン化は類義語同定の精度を向上させるか？
• RQ2 XGBoostとCatBoostは、Quoraの類義語検出タスクにおいて、性能でどのように異なるか？
• RQ3 勾配ブースティング木と組み合わせた場合、TF-IDFにユニグラム特徴を適用しても、競争力のある結果が得られるか？
• RQ4 サブワードレベルのトークン化は、質問ペアにおける未知語（OOV語）のモデル一般化性能にどの程度向上効果をもたらすか？

主な発見

• モデルはQuoraの質問ペアデータセットで最大97％の正解率を達成し、このタスクにおいて強力な性能を示した。
• WordPieceトークン化は、標準的なBag-of-WordsおよびTF-IDFアプローチと比較して、モデル性能を顕著に向上させた。
• XGBoostとCatBoostの両方とも良好に機能したが、特にWordPieceトークン化と組み合わせた場合に最高の結果が得られた。
• TF-IDFにユニグラム特徴を適用した場合、良好なベースラインを提供したが、サブワードレベルの表現を用いたモデルと比較すると性能が劣った。
• サブワード特徴の統合により、未知語の影響が軽減され、現実の質問ペアにおけるモデルのロバスト性が向上した。