[논문 리뷰] A Deep Learning Approach for Expert Identification in Question Answering Communities

Zheng Chen, Shuangfei Zhai외 1명|arXiv (Cornell University)|2017. 11. 14.

Expert finding and Q&A systems참고 문헌 2인용 수 11

한 줄 요약

이 논문은 답변 품질에 의존하지 않고 질문 텍스트와 사용자 임베딩만을 사용하여 질문-답변 커뮤니티에서 전문가 식별을 위한 새로운 CNN 기반 프레임워크 Q-USER-CNN을 제안한다. 질문과 사용자 표현을 복합적으로 모델링하는 컨볼루션 네트워크를 통해 스택 오버플로우 및 지후 데이터셋에서 최신 기술 수준의 Top-1 정확도를 달성한다.

ABSTRACT

In this paper, we describe an effective convolutional neural network framework for identifying the expert in question answering community. This approach uses the convolutional neural network and combines user feature representations with question feature representations to compute scores that the user who gets the highest score is the expert on this question. Unlike prior work, this method does not measure expert based on measure answer content quality to identify the expert but only require question sentence and user embedding feature to identify the expert. Remarkably, Our model can be applied to different languages and different domains. The proposed framework is trained on two datasets, The first dataset is Stack Overflow and the second one is Zhihu. The Top-1 accuracy results of our experiments show that our framework outperforms the best baseline framework for expert identification.

연구 동기 및 목표

• 답변 품질 지표에 의존하지 않고 온라인 QA 커뮤니티에서 주어진 질문에 대해 유일한 전문가 사용자를 식별하는 문제를 해결하기 위해.
• 다양한 QA 플랫폼(예: 스택 오버플로우 및 지후)에 적용 가능한 언어 및 도메인 간 일반화 능력을 갖춘 프레임워크를 개발하기 위해.
• 답변이 아직 존재하지 않는 상황에서도 질문-사용자 매칭을 통해 가장 적합한 전문가를 식별함으로써 전문가 추천을 가능하게 하기 위해.
• 언어 도구나 수작업 특징 공학에 의존하지 않고 학습된 임베딩과 엔드 투 엔드 딥러닝을 활용하여 이를 실현하기 위해.
• CNN 기반 스코어링 메커니즘을 통해 사용자 및 질문 표현을 융합하는 것이 효과적인지 입증하기 위해.

제안 방법

• QA 커뮤니티의 사회적 네트워크 구조에서 사용자들의 저차원 벡터 표현을 학습하기 위해 DeepWalk을 활용한다.
• 질문 텍스트를 연속적인 벡터 공간에 표현하기 위해 사전 학습된 단어 임베딩(GloVe 또는 Word2Vec)을 사용한다.
• 질문 및 사용자 임베딩 시퀀스에서 局부 특징을 추출하기 위해 1차원 컨볼루션 신경망(CNN)을 적용한다.
• CNN 처리된 질문 및 사용자 특징을 연결하여 완전히 연결된 신경망 레이어에 입력하여 매칭 스코어를 계산한다.
• 가장 높은 스코어를 가진 사용자를 주어진 질문에 대한 예측 전문가로 선정한다.
• 전문가 대비 비전문가 사용자 쌍의 순서를 최적화하기 위해 마진을 고려한 대비 손실 함수를 사용하여 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 질문 내용과 사용자 임베딩만을 사용하여 답변 품질에 의존하지 않고 딥러닝 모델이 QA 커뮤니티에서 전문가 사용자를 효과적으로 식별할 수 있는가?
• RQ2 제안된 Q-USER-CNN 프레임워크는 영어(스택 오버플로우)와 중국어(지후)를 포함한 다양한 언어와 도메인(스택 오버플로우의 10개 이상, 지후의 100개 이상) 간에 얼마나 잘 일반화되는가?
• RQ3 답변 내용이나 그래프 기반 특징을 사용하는 기존의 베이스라인 방법보다 모델이 전문가 식별에서 성능을 뛰어넘는가?
• RQ4 다양한 QA 데이터셋에서 최적의 성능을 내기 위한 하이퍼파라미터 설정(예: 영역 크기, 학습률, 임베딩 유형)은 무엇인가?
• RQ5 답변이 아직 존재하지 않는 상황에도 적용 가능하여 사전 전문가 추천을 가능하게 할 수 있는가?

주요 결과

• Q-USER-CNN 모델은 지후의 테스트2 세트에서 Top-1 정확도 85.32%를 기록하여 Q-A-CNN 베이스라인을 1.3퍼센트 포인트 이상 상회했다.
• 스택 오버플로우 데이터셋에서 최고 성능을 낸 Q-USER-CNN 설정은 동일한 분할에서 85.28%의 Top-1 정확도를 달성했으며, Q-A-CNN 모델의 83.97%를 초월했다.
• 스택 오버플로우의 경우 영역 크기 조합(2,3,4,5), 지후의 경우 (3,4,5)에서 최적 성능을 기록했으며, 학습률 1e-5와 Adam 옵timizer를 사용했다.
• 모든 데이터셋에서 GloVe 임베딩이 Word2Vec보다 일관되게 뛰어난 성능을 보였으며, 이는 다국어 및 도메인 일반화 전문가 식별에 유리함을 시사한다.
• 언어 및 도메인 간 강력한 제로샷 일반화 능력을 보였으며, 언어 도구 의존 없이 영어(스택 오버플로우)와 중국어(지후) 모두에서 효과적으로 작동했다.
• 제거 실험을 통해 질문 및 사용자 특징의 CNN 기반 융합이 간단한 매칭 방법보다 전문가 탐지 성능을 크게 향상시킴을 확인했다.