[논문 리뷰] Attention-based model for predicting question relatedness on Stack Overflow

Jiayan Pei, Yimin Wu외 3명|arXiv (Cornell University)|2021. 03. 19.

Topic Modeling참고 문헌 34인용 수 6

한 줄 요약

이 논문은 스택 오버플로우에서 질문 쌍 간의 의미적 상호작용을 포착하기 위해 자기주의 주의(self-attention) 기반 메커니즘을 활용하는 주의 기반 문장 쌍 상호작용 모델(ASIM)을 제안한다. 이는 질문 유사도 예측 성능을 크게 향상시킨다. 모델은 스택 오버플로우 지식 단위 데이터셋과 애즈유비투에서의 중복 질문 탐지 작업 모두에서 최신 기술(SOTA) 성능을 달성하며, 마이크로-F1이 0.892이고 정확도가 0.9625로 이전 SOTA 모델을 능가한다.

ABSTRACT

Stack Overflow is one of the most popular Programming Community-based Question Answering (PCQA) websites that has attracted more and more users in recent years. When users raise or inquire questions in Stack Overflow, providing related questions can help them solve problems. Although there are many approaches based on deep learning that can automatically predict the relatedness between questions, those approaches are limited since interaction information between two questions may be lost. In this paper, we adopt the deep learning technique, propose an Attention-based Sentence pair Interaction Model (ASIM) to predict the relatedness between questions on Stack Overflow automatically. We adopt the attention mechanism to capture the semantic interaction information between the questions. Besides, we have pre-trained and released word embeddings specific to the software engineering domain for this task, which may also help other related tasks. The experiment results demonstrate that ASIM has made significant improvement over the baseline approaches in Precision, Recall, and Micro-F1 evaluation metrics, achieving state-of-the-art performance in this task. Our model also performs well in the duplicate question detection task of AskUbuntu, which is a similar but different task, proving its generalization and robustness.

연구 동기 및 목표

• 스택 오버플로우에서 관련 또는 중복 질문을 수작업으로 식별하는 데 드는 비효율성과 정확도 부족 문제를 해결하기 위해.
• 기존 방법들이 종종 간과하는 상호 문장 간의 상호작용을 포착함으로써 질문 간 의미적 유사도 예측을 향상시키기 위해.
• 소프트웨어 공학 분야에 특화된 단어 임베딩을 개발하여 모델 성능을 향상시키기 위해.
• 다른 관련 소프트웨어 공학 작업—즉, 애즈유비투에서의 중복 질문 탐지 작업에 대한 모델의 일반화 능력을 평가하기 위해.

제안 방법

• ASIM 모델은 각 질문의 문맥적 표현을 학습하기 위해 자기주의 주의 기반 메커니즘을 사용하는 이중 인코더 아키텍처를 채택한다.
• 문장 간 주의를 적용하여 단어 수준의 유사도 행렬을 계산함으로써 두 질문 간의 의미적 상호작용을 포착한다.
• 다중 헤드 주의 기반 메커니즘을 활용하여 질문 쌍 간의 의미적으로 관련된 단어와 어구를 정렬한다.
• 소프트웨어 공학 분야에 특화된 단어 임베딩은 스택 오버플로우 데이터 덤프에서 유래한 대규모 소프트웨어 공학 코퍼스를 기반으로 사전 학습한다.
• 최종 분류는 피드포워드 신경망을 사용하여 주의 표현에 대해 수행되며, 다중 클래스 분류를 위해 교차 엔트로피 손실을 사용한다.
• 모델은 질문 쌍을 네 가지 유사도 수준(중복, 직접, 간접, 고립)으로 분류하는 지식 단위 데이터셋을 기반으로 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 주의 기반 모델이 스택 오버플로우에서 질문 쌍 간의 의미적 상호작용을 효과적으로 포착하여 유사도 예측 성능을 향상시킬 수 있는가?
• RQ2 소프트웨어 공학 질문 유사도 작업에서 도메인 특화 단어 임베딩의 사용이 성능 향상에 기여하는가?
• RQ3 SOFTSVM 및 DOTBILSTM와 같은 기존 SOTA 모델과 비교할 때 ASIM의 정밀도, 재현율 및 F1 점수는 어떻게 되는가?
• RQ4 ASIM은 애즈유비투에서의 중복 질문 탐지와 같은 다른 소프트웨어 공학 작업으로 일반화될 수 있는가?

주요 결과

• ASIM은 스택 오버플로우 지식 단위 데이터셋에서 마이크로-F1 점수 0.892를 기록하여 이전 SOTA 모델인 DOTBILSTM(0.87)과 SOFTSVM(0.85)를 능가한다.
• ASIM은 애즈유비투 중복 질문 탐지 데이터셋에서 정확도 0.9625를 기록하며, SOTA 모델인 SOFTSVM을 초월한다.
• 주의 시각화 결과는 ASIM이 최소한의 어휘적 겹침이 있는 경우에도 의미적으로 유사한 단어와 어구를 성공적으로 정렬함을 확인한다.
• 도메인 특화 단어 임베딩의 사용은 특히 소프트웨어 개발 질문에서의 기술 용어와 문법적 패턴을 포착하는 데 기여하여 성능 향상에 기여한다.
• 모델는 다양한 관련 소프트웨어 공학 NLP 작업에서 뛰어난 강건성과 일반화 능력을 보이며, 우수한 성능을 유지한다.