[논문 리뷰] Experiments on Paraphrase Identification Using Quora Question Pairs Dataset

Andreas Chandra, Ruben Stefanus|arXiv (Cornell University)|2020. 06. 04.

Topic Modeling참고 문헌 27인용 수 10

한 줄 요약

이 논문은 다양한 기계학습 접근 방식을 통해 Quora 질문 쌍 데이터셋을 이용한 동의어 식별을 조사한다. Bag of Words, TF-IDF, 그리고 XGBoost와 CatBoost를 사용한 WordPiece 토큰화를 적용하여 최대 97%의 정확도를 달성하였으며, 이는 하위어형 토큰화가 전통적 방법에 비해 성능을 크게 향상시킨다는 것을 보여준다.

ABSTRACT

We modeled the Quora question pairs dataset to identify a similar question. The dataset that we use is provided by Quora. The task is a binary classification. We tried several methods and algorithms and different approach from previous works. For feature extraction, we used Bag of Words including Count Vectorizer, and Term Frequency-Inverse Document Frequency with unigram for XGBoost and CatBoost. Furthermore, we also experimented with WordPiece tokenizer which improves the model performance significantly. We achieved up to 97 percent accuracy. Code and Dataset.

연구 동기 및 목표

• 다양한 특징 추출 및 모델링 기법을 사용하여 Quora 질문 쌍 데이터셋에서 동의어 식별 성능을 향상시키는 것.
• 이진 분류 설정에서 기존의 NLP 방법(예: Count Vectorizer, TF-IDF)과 현대적인 하위어형 토큰화(WordPiece)의 효과를 평가하는 것.
• XGBoost와 CatBoost의 성능을 비교하여 의미적으로 유사한 질문을 식별하는 데에 어떤가 하는 것.
• 고급 토큰화 기법이 동의어 검출에서 모델의 일반화 능력과 정확도를 향상시키는지 여부를 규명하는 것.

제안 방법

• 입력 표현을 위한 unigram 특징을 사용한 Count Vectorizer와 TF-IDF를 이용한 특징 추출.
• 형태적 변형과 희귀어를 더 잘 포착하기 위해 WordPiece 토큰화의 적용.
• 공학된 특징을 기반으로 XGBoost와 CatBoost 분류기 훈련을 수행하여 질문 쌍의 이진 분류.
• Quora 질문 쌍 데이터셋에서 정확도를 주요 평가 지표로 사용하여 모델 평가.
• 다양한 설정에서 모델 성능을 최적화하기 위해 초모수 튜닝과 교차 검증 수행.
• 특징 추출 이전에 소문자 변환,标 punctuations 제거 및 정지어 필터링을 포함한 표준 전처리 단계 사용.

실험 결과

연구 질문

• RQ1 기존의 Bag-of-Words 및 TF-IDF 방법에 비해 WordPiece 토큰화가 동의어 식별 정확도를 향상시키는가?
• RQ2 XGBoost와 CatBoost는 Quora 동의어 검출 작업에서 성능 면에서 어떻게 비교되는가?
• RQ3 기울기 부스팅 트리와 결합할 때 TF-IDF에 unigram 특징을 사용하면 경쟁력 있는 성능을 낼 수 있는가?
• RQ4 하위어 수준의 토큰화는 질문 쌍에서의 OOV(Out-of-Vocabulary) 단어에 대한 모델 일반화 능력을 얼마나 향상시키는가?

주요 결과

• 모델은 Quora 질문 쌍 데이터셋에서 최대 97%의 정확도를 달성하여 이 작업에서 뛰어난 성능을 보였다.
• WordPiece 토큰화는 표준 Bag-of-Words 및 TF-IDF 접근 방식에 비해 모델 성능을 크게 향상시켰다.
• XGBoost와 CatBoost는 모두 양호한 성능를 보였으며, 특히 WordPiece 토큰화와 조합했을 때 최고의 결과를 얻었다.
• TF-IDF에 unigram 특징을 사용한 것은 견고한 베이스라인을 제공했지만, 하위어 수준 표현을 사용한 모델에 비해 성능이 열등했다.
• 하위어 특징의 통합으로 OOV 단어의 영향이 감소하여 실제 질문 쌍에서의 강인성이 향상되었다.