[논문 리뷰] Siamese Neural Networks with Random Forest for detecting duplicate question pairs

Ameya Godbole, Aman Dalmia외 1명|arXiv (Cornell University)|2018. 01. 22.

Topic Modeling참고 문헌 7인용 수 9

한 줄 요약

이 논문은 복제 질문 쌍을 검출하기 위해 수작업 특징과 Random Forest 분류기를 결합한 시아모이즈 양방향 GRU 모델을 제안한다. GloVe 임베딩, 양방향 GRU 인코딩, 앙상블 학습을 활용함으로써, 이 접근법은 교차 엔트로피 손실 0.24365를 달성하여 Quora Question Pairs Kaggle 경쟁에서 상위 24%에 진입했다.

ABSTRACT

Determining whether two given questions are semantically similar is a fairly challenging task given the different structures and forms that the questions can take. In this paper, we use Gated Recurrent Units(GRU) in combination with other highly used machine learning algorithms like Random Forest, Adaboost and SVM for the similarity prediction task on a dataset released by Quora, consisting of about 400k labeled question pairs. We got the best result by using the Siamese adaptation of a Bidirectional GRU with a Random Forest classifier, which landed us among the top 24% in the competition Quora Question Pairs hosted on Kaggle.

연구 동기 및 목표

• 심층 학습과 전통적 기계 학습 분류기의 조합을 통해 질문 쌍 간의 의미 유사도 검출을 향상시키기.
• 구조적·어휘적 다양성에도 불구하고 의미적으로 유사한 질문을 탐지하는 과제를 해결하기.
• 맥락적·의미적 표현을 포착함으로써 어휘 기반 유사도 측정 방식을 초월한 성능 향상하기.
• 신경망 출력과 수작업 특징을 조합하는 앙상블 방법의 효과성을 탐색하기.
• 하이브리드 심층 학습 및 표준 기반 머신 러닝 접근법을 통해 Quora Question Pairs 데이터셋에서 최신 기술 수준의 성능 달성하기.

제안 방법

• 쌍의 각 질문을 처리하기 위해 가중치를 공유하는 시아모이즈 아키텍처와 양방향 GRU를 사용하여 맥락 기반 문장 표현을 학습한다.
• 의미적 의미를 포착하기 위해 50차원 사전 학습된 GloVe 벡터를 사용해 단어 임베딩을 초기화한다.
• 최종 문장 수준 표현은 GRU 은닉 상태와 단어 수준 특징을 연결하고 드롭아웃이 적용된 피드포워드 네트워크를 통과시켜 형성된다.
• 추가로 세 가지 수작업 특징을 추출한다: 단어 겹침, TF-IDF 가중치가 적용된 단어 겹침, 공유된 복제 수.
• 시아모이즈 GRU 출력과 세 가지 특징을 2차 분류기의 입력으로 사용하며, Random Forest가 가장 우수한 성능을 보였다.
• 모델 학습은 Adam 옵timizer와 이진 교차 엔트로피 손실을 사용하며, 초모델은 개발 세트에서 튜닝되었다.

실험 결과

연구 질문

• RQ1 구조와 길이가 다양한 질문 쌍 간의 의미 유사도를 효과적으로 학습할 수 있는 시아모이즈 양방향 GRU 모델인가?
• RQ2 신경망 임베딩과 수작업 특징을 조합할 경우 복제 질문 검출 성능에 어떤 영향을 미치는가?
• RQ3 2차 분류기 중 Random Forest, SVM, AdaBoost 중 어느 것이 유사도 점수와 보조 특징을 가장 효과적으로 활용해 최종 예측을 수행하는가?
• RQ4 데이터 증강이 복제 질문 검출 맥락에서 일반화 능력을 얼마나 향상시키는가?
• RQ5 GRU 유사도 점수와 다수의 특징을 앙상블하면 신경망 모델 단독 사용보다 성능 향상이 이루어지는가?

주요 결과

• Random Forest 분류기를 사용한 시아모이즈 양방향 GRU 모델이 가장 낮은 교차 엔트로피 손실 0.24365를 기록하여 SVM 및 AdaBoost를 능가했다.
• 최대 깊이 정규화를 적용한 Random Forest 분류기가 가장 높은 성능을 보였으며, 이는 복합 특징 세트에 대한 과적합에 대한 강건성을 시사한다.
• 데이터 증강을 통해 학습 샘플 수가 3배 증가했고, 양성 및 음성 클래스 비율이 1:1로 균형을 이루어 모델의 일반화 능력 향상에 기여했다.
• 공유된 복제 수 특징이 복제 여부를 강력한 지표로 제공하여 모델의 신뢰도를 크게 향상시켰다.
• 모델는 Quora Question Pairs 경쟁에서 상위 24%에 진입하여 앙상블 접근법의 효과성을 입증했다.
• 최종 완전 연결 층에서 드롭아웃 정규화를 사용할 경우 Random Forest와의 상호작용이 비효율적이거나 과적합을 유도하여 성능 저하가 발생했다.