[論文レビュー] Natural Language Understanding with the Quora Question Pairs Dataset

Lakshay Sharma, Laura Graesser+2 more|arXiv (Cornell University)|Jul 1, 2019

Topic Modeling参考文献 20被引用数 57

ひとこと要約

この論文は Quora データセット上の重複質問検出を通じた自然言語理解を研究し、単純な連続Bag-of-Wordsモデルがより複雑な再帰・注意モデルより優れていることを発見し、ラベリングの主観性に注意。

ABSTRACT

This paper explores the task Natural Language Understanding (NLU) by looking at duplicate question detection in the Quora dataset. We conducted extensive exploration of the dataset and used various machine learning models, including linear and tree-based models. Our final finding was that a simple Continuous Bag of Words neural network model had the best performance, outdoing more complicated recurrent and attention based models. We also conducted error analysis and found some subjectivity in the labeling of the dataset.

研究の動機と目的

• Quora データセットにおける重複質問検出を通じた自然言語理解の調査。
• 線形から木構造、ニューラルアーキテクチャまでの様々な機械学習モデルを評価する。
• この NLU タスクで最も高い性能を発揮するモデリング手法を特定する。
• ラベリング主観性とデータセットの制約を理解するための誤り分析を行う。

提案手法

• Quora の重複質問タスクにおいて線形・木構造・ニューラルネットワークモデルを用いた実験。
• 基準としてContinuous Bag of Words (CBOW) ニューラルネットワークを適用し、再帰型・注意機構ベースのモデルと比較。
• データセット上でのモデル性能を評価する実証的評価を実施。
• Quoraデータセットにおけるラベリング主観性を検討する誤り分析を行う。

実験結果

リサーチクエスチョン

• RQ1 Quora の重複質問検出において、どの機械学習モデルファミリ（線形、木構造、ニューラル）が最も高い性能を提供するか？
• RQ2 このタスクで単純な CBOW モデルはより複雑な再帰/注意ベースのモデルを上回るか？
• RQ3 Quora データセットおよびモデル評価に影響を及ぼすラベリングの問題点や主観性は何か？

主な発見

• 探索されたモデルの中で、単純な Continuous Bag of Words ニューラルネットワークが最良の性能を達成した。
• より複雑な再帰型・注意機構ベースのモデルはこのタスクでCBOWを上回らなかった。