[論文レビュー] Support-BERT: Predicting Quality of Question-Answer Pairs in MSDN using Deep Bidirectional Transformer

Bhaskar Sen, Nikhil Gopal+1 more|arXiv (Cornell University)|May 17, 2020

Expert finding and Q&A systems参考文献 35被引用数 7

ひとこと要約

本稿では、Microsoft Developer Network (MSDN) Q&A データで事前学習された、質問-回答ペアの質をコミュニティ支援フォーラムで予測するための微調整済み BERT モデル、Support-BERT を提案する。トランスファー学習とドメイン特化した微調整を活用することで、高品質な Q&A ペアの分類において 80% を超える正確性を達成し、AzureML を介してリアルタイムでデプロイされ、推論遅延は 110ms 未満である。

ABSTRACT

Quality of questions and answers from community support websites (e.g. Microsoft Developers Network, Stackoverflow, Github, etc.) is difficult to define and a prediction model of quality questions and answers is even more challenging to implement. Previous works have addressed the question quality models and answer quality models separately using meta-features like number of up-votes, trustworthiness of the person posting the questions or answers, titles of the post, and context naive natural language processing features. However, there is a lack of an integrated question-answer quality model for community question answering websites in the literature. In this brief paper, we tackle the quality Q&A modeling problems from the community support websites using a recently developed deep learning model using bidirectional transformers. We investigate the applicability of transfer learning on Q&A quality modeling using Bidirectional Encoder Representations from Transformers (BERT) trained on a separate tasks originally using Wikipedia. It is found that a further pre-training of BERT model along with finetuning on the Q&As extracted from Microsoft Developer Network (MSDN) can boost the performance of automated quality prediction to more than 80%. Furthermore, the implementations are carried out for deploying the finetuned model in real-time scenario using AzureML in Azure knowledge base system.

研究の動機と目的

• MSDN のような技術的コミュニティフォーラムにおける質問-回答ペアの質を統合的に予測するモデルの不足に対処すること。
• 従来のメタ特徴量を上回る、BERT を用いたトランスファー学習が技術的 Q&A コンテンツの質予測に効果を発揮するかどうかを調査すること。
• 生産環境システム（例：Azure 知識ベース）におけるリアルタイムデプロイに適した、高性能で低遅延のモデルを開発すること。
• 質問と回答を別々にモデリングするのではなく、エンドツーエンドで Q&A ペアを統合的にモデリングすることで性能が向上することを実証すること。
• 『質』の明確な定義を必要とせずに、自動的かつエキスパート並みの Q&A ペアの質の評価を可能にすること。

提案手法

• 技術的コミュニティ支援言語に適応させるために、トランスファー学習を用いて MSDN Q&A データで事前学習済み BERT モデルを微調整する。
• 10 エポックにわたり、マスク言語モデル化と次文予測の目的関数を用いて、MSDN データ上でドメイン特化した事前学習を実施する。
• 各 Q&A ペアをシーケンス入力として BERT モデルに与えるエンドツーエンドの微調整を、ペaired 質問-回答インスタンスで実行する。
• Azure Machine Learning (AzureML) サービスを用いて最終モデルをデプロイし、モデルを登録し、Azure Kubernetes Service (AKS) 上の Azure Container Instance (ACI) としてデプロイする。
• GPU 対応の Azure NC-6 VM を活用して推論遅延を最適化し、異なる受容率を想定したテストセットでパフォーマンスを検証する。
• AzureML 内の TensorFlow API を用いて学習を実行し、モデルの再現性およびオープンソースツールとの相互運用性を確保する。

実験結果

リサーチクエスチョン

• RQ1 BERT をベースとしたモデルは、MSDN のような技術的コミュニティフォーラムにおける統合的質問-回答ペアの質を効果的に予測できるか？
• RQ2 MSDN Q&A データ上でドメイン特化した事前学習を施した場合、一般用途の BERT モデルに比べて質予測のパフォーマンスが向上するか？
• RQ3 ディープラーニングモデルは、リアルタイムデプロイに適した低遅延を維持しながら、Q&A の質予測で高い正確性を達成できるか？
• RQ4 テストデータにおける受容済み対未受容の比率が異なる場合、モデルのパフォーマンスはどのように変化するか？
• RQ5 NLP ベースの特徴量は、賛辞数やユーザ信頼度などの従来のメタ特徴量に比べて、質予測においてどの程度優れているか？

主な発見

• Support-BERT モデルは、受容対未受容比が 1:1 のテストセットにおいて、高品質な Q&A ペアを識別する際、82% の正確性を達成した。
• より現実的であるとされる受容対未受容比が 1:3 のテストセットにおいても、77.41% の正確性を維持し、クラス不均衡に強く対応していることが示された。
• モデルの推論遅延は平均で 110 ms と測定され、生産環境システムにおけるリアルタイムデプロイに適していることが確認された。
• MSDN データ上でドメイン特化した事前学習を実施した後、微調整を施すことで、パフォーマンスが顕著に向上し、ベースライン BERT モデルを上回った。
• 賛辞数に依存するのみの既存の Azure 知識ベースシステムよりも優れた性能を示し、NLP ベースのコンテンツモデリングの価値を実証した。
• AzureML と AKS を用いたデプロイパイプラインにより、スケーラブルで低遅延の推論とモデルバージョニングが可能となり、企業向け知識システムへの統合を支援した。