[论文解读] Experiments on Paraphrase Identification Using Quora Question Pairs Dataset

Andreas Chandra, Ruben Stefanus|arXiv (Cornell University)|Jun 4, 2020

Topic Modeling参考文献 27被引用 10

一句话总结

本文通过多种机器学习方法，利用Quora问题对数据集研究了释义识别问题。采用词袋模型、TF-IDF以及WordPiece分词法，结合XGBoost和CatBoost模型，最高准确率达到97%，表明子词分词法相比传统方法能显著提升性能。

ABSTRACT

We modeled the Quora question pairs dataset to identify a similar question. The dataset that we use is provided by Quora. The task is a binary classification. We tried several methods and algorithms and different approach from previous works. For feature extraction, we used Bag of Words including Count Vectorizer, and Term Frequency-Inverse Document Frequency with unigram for XGBoost and CatBoost. Furthermore, we also experimented with WordPiece tokenizer which improves the model performance significantly. We achieved up to 97 percent accuracy. Code and Dataset.

研究动机与目标

• 通过多样化的特征提取与建模技术，提升在Quora问题对数据集上的释义识别性能。
• 评估传统NLP方法（如词袋向量化器和TF-IDF）与现代子词分词法（WordPiece）在二分类设置下的有效性。
• 比较XGBoost与CatBoost在识别语义相似问题对上的性能表现。
• 确定高级分词方法是否能提升模型在释义检测任务中的泛化能力与准确率。

提出的方法

• 使用词袋向量化器和TF-IDF提取特征，采用n-gram特征表示输入数据。
• 应用WordPiece分词法以更好地捕捉形态变化和罕见词汇。
• 在工程化特征上训练XGBoost与CatBoost分类器，实现问题对的二分类。
• 使用准确率为首要指标，在Quora问题对数据集上评估模型性能。
• 通过超参数调优与交叉验证，优化不同配置下的模型性能。
• 在特征提取前应用标准预处理步骤，包括小写转换、标点符号移除及停用词过滤。

实验结果

研究问题

• RQ1 与传统的词袋模型和TF-IDF方法相比，WordPiece分词法是否能带来更高的释义识别准确率？
• RQ2 XGBoost与CatBoost在Quora释义检测任务上的性能表现如何比较？
• RQ3 当与梯度提升树模型结合时，TF-IDF与n-gram特征能否取得具有竞争力的结果？
• RQ4 子词级别分词在多大程度上提升了模型对问题对中未登录词的泛化能力？

主要发现

• 该模型在Quora问题对数据集上实现了最高97%的准确率，代表了该任务的强劲性能表现。
• 与标准的词袋模型和TF-IDF方法相比，WordPiece分词法显著提升了模型性能。
• XGBoost与CatBoost均表现良好，最佳结果出现在与WordPiece分词法结合时。
• TF-IDF与n-gram特征提供了稳健的基线表现，但相比使用子词表示的模型仍表现欠佳。
• 子词特征的引入降低了未登录词的影响，增强了模型在真实问题对中的鲁棒性。