[논문 리뷰] Expert Finding in Community Question Answering: A Review

Sha Yuan, Yu Zhang외 2명|arXiv (Cornell University)|2018. 04. 21.

Expert finding and Q&A systems참고 문헌 30인용 수 10

한 줄 요약

이 논문은 커뮤니티 질의응답(CQA)에서 전문가 발견에 대해 종합적으로 검토하며, 기존 방법을 행렬 분해(MF 기반), 기울기 부스팅 트리(GBT 기반), 딥 러닝(DL 기반), 순위 매기기(R 기반) 모델로 분류한다. MF 기반 모델은 텍스트 대 텍스트 매칭에서 다른 모델보다 뛰어난 성능을 보이며, 앙상블 학습은 모든 작업에서 성능을 크게 향상시킨다. 최상의 모델은 실제 CQA 데이터에서 AUC 점수 최대 0.50812를 기록한다.

ABSTRACT

The rapid development recently of Community Question Answering (CQA) satisfies users quest for professional and personal knowledge about anything. In CQA, one central issue is to find users with expertise and willingness to answer the given questions. Expert finding in CQA often exhibits very different challenges compared to traditional methods. Sparse data and new features violate fundamental assumptions of traditional recommendation systems. This paper focuses on reviewing and categorizing the current progress on expert finding in CQA. We classify all the existing solutions into four different categories: matrix factorization based models (MF-based models), gradient boosting tree based models (GBT-based models), deep learning based models (DL-based models) and ranking based models (R-based models). We find that MF-based models outperform other categories of models in the field of expert finding in CQA. Moreover, we use innovative diagrams to clarify several important concepts of ensemble learning, and find that ensemble models with several specific single models can further boosting the performance. Further, we compare the performance of different models on different types of matching tasks, including text vs. text, graph vs. text, audio vs. text and video vs. text. The results can help the model selection of expert finding in practice. Finally, we explore some potential future issues in expert finding research in CQA.

연구 동기 및 목표

• 커뮤니티 질의응답(CQA)에서 최신 전문가 발견 방법을 체계적으로 검토하고 분류하는 것.
• MF 기반, GBT 기반, DL 기반, R 기반의 네 가지 모델 유형이 다양한 매칭 작업(예: 텍스트 대 텍스트, 그래프 대 텍스트 등)에서 어떻게 성능을 내는지 평가하는 것.
• ByteCup 경쟁에서 상위 성능을 낸 팀들이 사용한 앙상블 학습 전략을 분석하고, 이들이 모델 성능에 미치는 영향을 평가하는 것.
• 희소 데이터, 암묵적 피드백, 모델 해석 가능성 등의 과제를 포함한 CQA 전문가 발견의 핵심 과제를 규명하는 것.
• 다양한 매칭 유형과 모델 유형 간 성능 비교를 통해 실용적인 모델 선택을 안내하는 것.

제안 방법

• 논문은 CQA에서의 기존 전문가 발견 솔루션을 네 가지 유형으로 분류한다: 행렬 분해(MF 기반), 기울기 부스팅 트리(GBT 기반), 딥 러닝(DL 기반), 순위 매기기(R 기반) 모델.
• 각 모델 유형의 성능을 ByteCup 2016 경쟁 데이터셋을 사용해 평가하며, 로컬 검증을 통해 텍스트, 그래프, 오디오, 비디오 매칭 작업에서 성능을 측정한다.
• Top 5팀의 앙상블 학습 전략을 분석하여, 모델 다양성과 스태킹 같은 개념을 명확히 하는 혁신적인 다이어그램을 활용한다.
• 성능은 AUC 점수로 측정되며, 결과는 텍스트 대 텍스트, 오디오 대 텍스트 등 다양한 매칭 유형과 모델 조합에 따라 보고된다.
• 단일 모델과 앙상블 모델을 비교하여, 서로 다른 모델을 조합함으로써 개별 구성 요소의 성능을 초월하는 결과를 도출한다.
• 논문은 실생활 CQA 데이터(580만 명의 사용자 포함 Toutiao 데이터)를 사용하여 연구 결과의 실용성과 견고성을 확보한다.

실험 결과

연구 질문

• RQ1 텍스트 대 텍스트 매칭 작업에서 MF 기반, GBT 기반, DL 기반, R 기반 모델 중 어느 모델 유형이 전문가 발견에서 가장 우수한 성능을 내는가?
• RQ2 개별 모델 대비 앙상블 학습은 전문가 발견 성능을 어떻게 향상시키며, 효과적인 앙상블를 설계하기 위한 핵심 원칙은 무엇인가?
• RQ3 텍스트 대 텍스트, 그래프 대 텍스트, 오디오 대 텍스트, 비디오 대 텍스트와 같은 다양한 매칭 유형에서 각 모델 유형의 상대적 강점은 무엇인가?
• RQ4 왜 MF 기반 모델은 희소한 CQA 데이터 환경에서 다른 모델보다 뛰어난 성능을 내는가? 이는 모델 선택에 어떤 함의를 갖는가?
• RQ5 암묵적 피드백 통합, 모델 해석 가능성, 모델 재사용성 등을 포함한 전문가 발견의 주요 열린 과제는 무엇인가?

주요 결과

• MF 기반 모델은 단일 모델 중에서 가장 높은 성능을 기록하며, AUC 점수 범위가 0.3665에서 0.4119 사이이며, 특히 텍스트 대 텍스트 매칭 작업에서 다른 유형을 압도한다.
• 앙상블 모델은 개별 모델을 모두 초월하여 뛰어난 성능을 보이며, AUC 점수는 0.49003에서 0.50812 사이로 기록되어 모델 조합의 힘을 입증한다.
• DL 기반 모델은 그래프 대 텍스트 및 비디오 대 텍스트 매칭에서 가장 뛰어난 성능을 보이며, 복잡한 데이터에서 고차원 특징을 잘 포착할 수 있다는 점을 활용한다.
• GBT 기반 모델은 오디오 대 텍스트 매칭에서 뛰어난 성능을 보이며, 오디오 데이터를 포함한 다중모달 작업에 적합함을 시사한다.
• 약한 개별 모델도 다양한 모델과 조합될 경우 긍정적인 기여를 하며, 이는 앙상블 학습이 정확성과 강건성을 향상시킨다는 점을 확인한다.
• 연구는 어떤 단일 모델도 모든 작업에서 우월하지 않으며, 모델 선택은 매칭 유형과 데이터 모odal의 특성에 따라 유의미하게 달라져야 한다는 점을 확인한다.