[論文レビュー] Attention-based model for predicting question relatedness on Stack Overflow

Jiayan Pei, Yimin Wu+3 more|arXiv (Cornell University)|Mar 19, 2021

Topic Modeling参考文献 34被引用数 6

ひとこと要約

本稿では、Stack Overflowにおける質問ペア間の意味的相互作用を捉えるために自己注意メカニズムを活用したアテンションベースの文書ペア相互作用モデル（ASIM）を提案する。このモデルは、質問の類似度予測を著しく改善し、Stack OverflowのKnowledge UnitデータセットおよびAskUbuntuの重複質問検出タスクの両方で最先端の性能を達成しており、Micro-F1が0.892、正解率が0.9625を記録した。

ABSTRACT

Stack Overflow is one of the most popular Programming Community-based Question Answering (PCQA) websites that has attracted more and more users in recent years. When users raise or inquire questions in Stack Overflow, providing related questions can help them solve problems. Although there are many approaches based on deep learning that can automatically predict the relatedness between questions, those approaches are limited since interaction information between two questions may be lost. In this paper, we adopt the deep learning technique, propose an Attention-based Sentence pair Interaction Model (ASIM) to predict the relatedness between questions on Stack Overflow automatically. We adopt the attention mechanism to capture the semantic interaction information between the questions. Besides, we have pre-trained and released word embeddings specific to the software engineering domain for this task, which may also help other related tasks. The experiment results demonstrate that ASIM has made significant improvement over the baseline approaches in Precision, Recall, and Micro-F1 evaluation metrics, achieving state-of-the-art performance in this task. Our model also performs well in the duplicate question detection task of AskUbuntu, which is a similar but different task, proving its generalization and robustness.

研究の動機と目的

• Stack Overflowにおける関連または重複する質問の手動特定の非効率性と不正確さを是正すること。
• 既存の手法がしばしば無視する文間相互作用を捉えることで、質問間の意味的類似度予測を向上させること。
• ソフトウェア工学分野に特化した単語埋め込みを構築し、モデル性能を向上させること。
• 異なるが関連するソフトウェア工学タスク、具体的にはAskUbuntuにおける重複質問検出タスクにおいて、モデルの一般化能力を評価すること。

提案手法

• ASIMモデルは、自己注意メカニズムを用いて個々の質問の文脈的表現を学習する二重エンコーダー構造を採用する。
• 文間アテンションを適用し、単語レベルの類似度行列を計算することで、二つの質問間の意味的相互作用を捉える。
• 多頭アテンション機構を用いて、質問ペア間で意味的に関連する語やフレーズをアライメントする。
• ドメイン特化型の単語埋め込みは、Stack Overflowのデータダンプから得た大規模なソフトウェア工学コーパス上で事前学習される。
• 最終的な分類は、アテンション表現に対してフィードフォワードニューラルネットワークを適用し、マルチクラス分類のための交差エントロピー損失を用いる。
• モデルは、質問ペアを4つの類似度レベル（重複、直接的、間接的、分離）に分類するKnowledge Unitデータセット上で、エンドツーエンドで学習される。

実験結果

リサーチクエスチョン

• RQ1 アテンションベースのモデルは、Stack Overflowにおける質問ペア間の意味的相互作用を効果的に捉えることができるか？
• RQ2 ドメイン特化型の単語埋め込みの使用は、ソフトウェア工学分野の質問類似度タスクにおける性能向上に寄与するか？
• RQ3 ASIMは、SOFTSVM や DOTBILSTM といった既存の最先端モデルと比較して、正確率、再現率、F1スコアの観点で優れているか？
• RQ4 ASIMは、AskUbuntuにおける重複質問検出といった他のソフトウェア工学タスクにも一般化可能か？

主な発見

• ASIMは、Stack OverflowのKnowledge UnitデータセットでMicro-F1スコア0.892を達成し、以前の最先端モデルであるDOTBILSTM（0.87）およびSOFTSVM（0.85）を上回った。
• ASIMは、AskUbuntuの重複質問検出データセットで正解率0.9625を達成し、最先端モデルであるSOFTSVMを上回った。
• アテンション可視化により、語彙的重複が少ない場合でも、ASIMが意味的に類似する語やフレーズを適切にアライメントしていることが確認された。
• ドメイン特化型の単語埋め込みの使用は、特にソフトウェア開発の質問における技術用語や文法的パターンの捉え込みに寄与し、性能向上に寄与した。
• モデルは強固で一般化性に優れており、異なるが関連するソフトウェア工学NLPタスクにおいても良好な性能を発揮した。