[논문 리뷰] Deep Feature Fusion Network for Answer Quality Prediction in Community Question Answering

Sai Praneeth Suggu, Kushwanth Naga Goutham외 2명|arXiv (Cornell University)|2016. 06. 22.

Expert finding and Q&A systems참고 문헌 25인용 수 8

한 줄 요약

이 논문은 커뮤니티 질문 응답(cQA) 포럼에서 답변 품질 예측을 위해 외부 자원(예: 위키백과, GCD, 클릭스루 데이터)에서 추출한 수작업 특징(HCF)과 CNN을 통해 학습된 딥 뉘앙스 특징을 융합하는 하이브리드 모델인 딥 페처 퓌전 네트워크(DFFN)를 제안한다. DFFN은 순수 HCF 및 순수 딥 러닝 기반 모델보다 뛰어난 성능을 보이며, 언어적, 의미적, 행동적 신호를 딥 네트워크를 통해 효과적으로 융합함으로써 SemEval-2015 및 SemEval-2016 벤치마크에서 최고 성능을 기록한다.

ABSTRACT

Community Question Answering (cQA) forums have become a popular medium for soliciting direct answers to specific questions of users from experts or other experienced users on a given topic. However, for a given question, users sometimes have to sift through a large number of low-quality or irrelevant answers to find out the answer which satisfies their information need. To alleviate this, the problem of Answer Quality Prediction (AQP) aims to predict the quality of an answer posted in response to a forum question. Current AQP systems either learn models using - a) various hand-crafted features (HCF) or b) use deep learning (DL) techniques which automatically learn the required feature representations. In this paper, we propose a novel approach for AQP known as - "Deep Feature Fusion Network (DFFN)" which leverages the advantages of both hand-crafted features and deep learning based systems. Given a question-answer pair along with its metadata, DFFN independently - a) learns deep features using a Convolutional Neural Network (CNN) and b) computes hand-crafted features using various external resources and then combines them using a deep neural network trained to predict the final answer quality. DFFN achieves state-of-the-art performance on the standard SemEval-2015 and SemEval-2016 benchmark datasets and outperforms baseline approaches which individually employ either HCF or DL based techniques alone.

연구 동기 및 목표

• 커뮤니티 질문 응답(cQA) 포럼에서 저질 또는 관련 없는 답변 문제를 해결하기 위해.
• 수작업 특징(HCF)과 딥 러닝(DL) 모델의 장점을 융합하여 답변 품질 예측(AQP) 성능을 향상시키기 위해.
• 다양한 외부 지식 소스를 딥 뉘앙스 표현과 융합하는 통합 프레임워크를 개발하여 보다 정확한 품질 점수 예측을 가능하게 하기 위해.
• 기존의 HCF 전용 또는 DL 전용 접근 방식보다 표준 AQP 벤치마크에서 승리하기 위해.

제안 방법

• DFFN은 질문-응답 쌍에서 컨volutional 신경망(CNN)을 독립적으로 사용하여 딥 뉘앙스 특징을 학습한다.
• 외부 자원을 활용해 수작업 특징을 계산한다: 위키백과(엔티티 연결용), 구글 다국어 사전(GCD), 클릭스루 데이터, 문장 벡터(Sent2Vec) 임베딩.
• GCD와 위키백과 기반 엔티티 연결을 통해 의미적 및 문법적 유사도를 캡처하고, 클릭스루 데이터와 Sent2Vec는 쿼리 수준의 의미적 일치를 제공한다.
• 딥 네트워크가 CNN에서 유도된 딥 뉘앙스 특징과 수작업 특징을 융합하여 최종 답변 품질 점수를 예측한다.
• 라벨이 부여된 cQA 데이터셋을 기반으로 지도 학습을 통해 답변 품질 예측을 최적화하기 위해 엔드 투 엔드로 모델을 훈련시킨다.
• 특징 융합은 표현 수준에서 수행되어 HCF와 DL 특징 간의 복잡한 상호작용을 네트워크가 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 수작업 특징을 딥 뉘앙스 특징과 융합하는 것이 별도로 사용할 경우보다 답변 품질 예측 성능을 향상시키는가?
• RQ2 위키백과, GCD, 클릭스루 데이터와 같은 외부 지식 소스가 AQP를 위한 의미적 및 문법적 신호 표현을 얼마나 효과적으로 향상시키는가?
• RQ3 다양한 이질적 특징 유형을 융합하는 딥 네트워크 아키텍처가 순수 CNN 또는 HCF에 의존하는 모델보다 우월한가?
• RQ4 엔티티 연결을 통해 태그메를 사용하거나 문장 유사도를 Sent2Vec로 측정하는 특정 특징이 모호하거나 비꼬임이 담긴 답변 케이스에서 정확한 분류에 얼마나 기여하는가?
• RQ5 작성자 신뢰도, 응답 패턴과 같은 행동 신호를 의미 특징과 융합하면 자원이 부족하거나 노이즈가 많은 cQA 환경에서 더 강건한 성능을 낼 수 있는가?

주요 결과

• DFFN은 SemEval-2015 및 SemEval-2016 커뮤니티 질문 응답 답변 품질 예측 벤치마크에서 최고 성능을 기록한다.
• 수작업 특징 전용 또는 딥 러닝 전용 기반 시스템보다 성능이 뛰어나 특징 융합의 유용성을 입증한다.
• 정성적 분석에서 DFFN은 기존 기반 시스템이 실패하는 경우에도 고급 품질의 답변을 올바르게 식별한다. 특히 GCD나 TagMe 특징이 엔티티 간 의미적 연결(예: 택배 서비스, 토런트 소프트웨어)을 포착할 때 유의미한 성과를 보인다.
• Sent2Vec과 클릭스루 데이터 통합은 표면 형태가 다를지라도 의미적 공존도가 높은 쿼리에서 성능 향상을 이룬다.
• DFFN은 비꼬임이나 근접 중복 답변을 다루는 데 있어 강건성을 보이지만, 문장 수준 특징에서 높은 유사도에 과도하게 의존함으로써 때로는 잘못 분류하는 경우가 있다.
• 특징 균형에 민감한 성능을 보이며, 작성자 신뢰도 및 응답 패턴 특징이 중립일 경우 문장 수준 특징의 강한 의미 유사도로 인해 잘못 분류될 수 있다.