[논문 리뷰] Support-BERT: Predicting Quality of Question-Answer Pairs in MSDN using Deep Bidirectional Transformer

Bhaskar Sen, Nikhil Gopal외 1명|arXiv (Cornell University)|2020. 05. 17.

Expert finding and Q&A systems참고 문헌 35인용 수 7

한 줄 요약

이 논문은 마이크로소프트 개발자 네트워크(MSDN) Q&A 데이터로 미리 훈련한 Support-BERT를 제안하며, 커뮤니티 지원 포럼 내 질문-답변 쌍의 품질을 예측한다. 전이 학습과 도메인 특화 미세조정을 활용하여 이 모델은 고품질 Q&A 쌍을 분류하는 데 80% 이상의 정확도를 달성했으며, AzureML을 통해 실시간으로 구동되며 110ms 이내의 추론 지연을 보였다.

ABSTRACT

Quality of questions and answers from community support websites (e.g. Microsoft Developers Network, Stackoverflow, Github, etc.) is difficult to define and a prediction model of quality questions and answers is even more challenging to implement. Previous works have addressed the question quality models and answer quality models separately using meta-features like number of up-votes, trustworthiness of the person posting the questions or answers, titles of the post, and context naive natural language processing features. However, there is a lack of an integrated question-answer quality model for community question answering websites in the literature. In this brief paper, we tackle the quality Q&A modeling problems from the community support websites using a recently developed deep learning model using bidirectional transformers. We investigate the applicability of transfer learning on Q&A quality modeling using Bidirectional Encoder Representations from Transformers (BERT) trained on a separate tasks originally using Wikipedia. It is found that a further pre-training of BERT model along with finetuning on the Q&As extracted from Microsoft Developer Network (MSDN) can boost the performance of automated quality prediction to more than 80%. Furthermore, the implementations are carried out for deploying the finetuned model in real-time scenario using AzureML in Azure knowledge base system.

연구 동기 및 목표

• MSDN과 같은 기술 커뮤니티 포럼에서 질문-답변의 통합 품질을 예측하는 통합 모델의 부족을 해결한다.
• 기존 메타특성 외에 BERT를 사용한 전이 학습이 기술적 Q&A 콘텐츠의 품질 예측에 도움이 되는지 조사한다.
• 실제 운영 시스템(예: Azure 지식 기반)에 적합한 고성능, 저지연 모델을 개발한다.
• 질문과 답변을 별도로 모델링하는 것보다 질문-답변 쌍을 종합적으로 모델링하는 것이 성능을 높이는지 입증한다.
• '품질'을 명시적으로 정의하지 않고도 전문가 수준의 자동 품질 평가를 가능하게 한다.

제안 방법

• 기술 커뮤니티 지원 언어에 맞게 적응하기 위해 전이 학습을 사용해 MSDN Q&A 데이터로 사전 훈련된 BERT 모델을 미세조정한다.
• 10 에포크 동안 마스크된 언어 모델링 및 다음 문장 예측 목표를 사용해 MSDN 데이터로 도메인 특화 사전 훈련을 수행한다.
• 각 Q&A 쌍을 순서 기반 입력으로 간주하여 쌍의 질문-답변 인스턴스를 종합적으로 미세조정한다.
• 최종 모델을 Azure Machine Learning(AzureML) 서비스를 사용해 배포하며, 모델을 등록하고 Azure Kubernetes Service(AKS)에서 Azure Container Instance(ACI)로 배포한다.
• GPU를 탑재한 Azure NC-6 VM을 활용해 추론 지연을 최적화하고, 수용 비율이 다양한 테스트 세트에서 성능을 검증한다.
• AzureML 내 TensorFlow API를 사용해 훈련을 수행하고, 모델 재현성과 오픈소스 도구와의 상호운용성을 확보한다.

실험 결과

연구 질문

• RQ1 BERT 기반 모델은 MSDN과 같은 기술 커뮤니티 포럼에서 질문-답변 쌍의 품질을 효과적으로 예측할 수 있는가?
• RQ2 MSDN Q&A 데이터로 도메인 특화 사전 훈련을 수행하면 일반 목적의 BERT 모델보다 품질 예측 성능이 향상되는가?
• RQ3 딥 러닝 모델은 고정밀도의 Q&A 품질 예측을 달성하면서도 실시간 배포에 적합한 저지연 추론 지연을 유지할 수 있는가?
• RQ4 테스트 데이터에서 수용된 답변 대비 수용되지 않은 답변의 비율이 다양할 경우 모델의 성능은 어떻게 변하는가?
• RQ5 NLP 기반 특성은 전통적인 메타특성(예: 추천 수, 사용자 신뢰도)보다 품질 예측에서 얼마나 뛰어나게 성능을 냈는가?

주요 결과

• Support-BERT 모델은 1:1 수용 대비 비수용 비율 테스트 세트에서 고품질 Q&A 쌍을 식별하는 데 82%의 정확도를 달성했다.
• 더 현실적인 1:3 수용 대비 비수용 비율 테스트 세트에서도 77.41%의 정확도를 유지하여 클래스 불균형에 대한 강건성을 입증했다.
• 모델의 평균 추론 지연은 110ms로 측정되어 실시간 운영 시스템에 적합함을 확인했다.
• MSDN 데이터로 도메인 특화 사전 훈련을 수행한 후 미세조정을 거친 모델은 기준 BERT 모델을 뛰어넘는 성능 향상을 보였다.
• 추천 수와 같은 메타특성에 의존하는 기존 Azure 지식 기반 시스템보다 모델이 뛰어난 성능을 보여, NLP 기반 콘텐츠 모델링의 가치를 입증했다.
• AzureML과 AKS를 사용한 배포 파이프라인은 확장성 있고 저지연 추론 및 모델 버전 관리를 가능하게 하여 기업 지식 시스템에의 통합을 지원했다.