[논문 리뷰] Natural Language Understanding with the Quora Question Pairs Dataset

Lakshay Sharma, Laura Graesser외 2명|arXiv (Cornell University)|2019. 07. 01.

Topic Modeling참고 문헌 20인용 수 57

한 줄 요약

이 논문은 Quora 데이터셋에서 중복 질문 탐지를 통해 자연어 이해(NLU)를 연구하고, 간단한 Continuous Bag of Words 모델이 더 복잡한 순환/주의 메커니즘 모델보다 우수하다는 것을 밝혀내며, 라벨링 주관성에 주목한다.

ABSTRACT

This paper explores the task Natural Language Understanding (NLU) by looking at duplicate question detection in the Quora dataset. We conducted extensive exploration of the dataset and used various machine learning models, including linear and tree-based models. Our final finding was that a simple Continuous Bag of Words neural network model had the best performance, outdoing more complicated recurrent and attention based models. We also conducted error analysis and found some subjectivity in the labeling of the dataset.

연구 동기 및 목표

• Quora 데이터셋에서 중복 질문 탐지를 통해 자연어 이해를 조사한다.
• 선형에서 트리 기반, 신경망 구조에 이르는 다양한 머신러닝 모델을 평가한다.
• 어떤 모델링 접근법이 이 NLU task에서 최상의 성능을 낳는지 식별한다.
• Quora 데이터셋의 라벨링 주관성과 데이터셋 한계를 이해하기 위한 오류 분석을 수행한다.

제안 방법

• Quora 중복 질문 task에서 선형, 트리 기반, 신경망 모델을 실험한다.
• Baseline으로 Continuous Bag of Words (CBOW) 신경망을 적용하고 순환 및 주의 기반 모델과 비교한다.
• 데이터셋에 대한 모델 성능을 평가하기 위한 실증적 평가를 수행한다.
• Quora 데이터셋의 라벨링 주관성을 살펴보기 위한 오류 분석을 수행한다.

실험 결과

연구 질문

• RQ1 Quora 중복 질문 탐지를 위해 어떤 머신러닝 모델 계열(선형, 트리 기반, 신경망)이 최상의 성능을 제공하는가?
• RQ2 이 task에서 단순한 CBOW 모델이 더 복잡한 순환/주의 기반 모델보다 성능이 우수한가?
• RQ3 Quora 데이터셋과 모델 평가에 영향을 주는 라벨링 이슈나 주관성은 무엇인가?

주요 결과

• 탐색된 모델 중 단순한 Continuous Bag of Words 신경망이 최상의 성능을 달성했다.
• 더 복잡한 순환 및 주의 기반 모델은 이 task에서 CBOW를 능가하지 못했다.