[논문 리뷰] Question Retrieval for Community-based Question Answering via Heterogeneous Network Integration Learning

Zheqian Chen, Chi Zhang외 2명|arXiv (Cornell University)|2016. 11. 24.

Expert finding and Q&A systems참고 문헌 30인용 수 4

한 줄 요약

이 논문은 랜덤 워크와 RNN 기반 표현 학습을 통해 질문 텍스트, 사용자 소셜 네트워크, 카테고리 정보를 공동으로 모델링함으로써 커뮤니티 기반 질의응답에서 질문 검색 성능을 향상시키는 이질적 네트워크 통합 학습(HNIL) 프레임워크를 제안한다. Quora 데이터에서의 실험 결과, HNIL은 최신 기술들을 크게 앞서며 최대 53.22%의 MRR와 40.67%의 MAP를 달성하여 사회적 신호와 텍스트 신호를 통합함으로써 의미적 질문 매칭에 효과적임을 입증한다.

ABSTRACT

Community based question answering platforms have attracted substantial users to share knowledge and learn from each other. As the rapid enlargement of CQA platforms, quantities of overlapped questions emerge, which makes users confounded to select a proper reference. It is urgent for us to take effective automated algorithms to reuse historical questions with corresponding answers. In this paper we focus on the problem with question retrieval, which aims to match historical questions that are relevant or semantically equivalent to resolve one s query directly. The challenges in this task are the lexical gaps between questions for the word ambiguity and word mismatch problem. Furthermore, limited words in queried sentences cause sparsity of word features. To alleviate these challenges, we propose a novel framework named HNIL which encodes not only the question contents but also the askers social interactions to enhance the question embedding performance. More specifically, we apply random walk based learning method with recurrent neural network to match the similarities between askers question and historical questions proposed by other users. Extensive experiments on a large scale dataset from a real world CQA site show that employing the heterogeneous social network information outperforms the other state of the art solutions in this task.

연구 동기 및 목표

• 질문 길이가 짧고 단어의 다의어 문제로 인해 발생하는 어휘 갭과 단어 빈도 부족 문제를 해결하기 위해.
• 어휘적 중복이 없는 의미적으로 동일한 질문들 간의 의미적 매칭을 향상시키기 위해.
• 사용자 소셜 네트워크 상호작용과 질문 카테고리 정보를 보조 신호로 활용하여 질문 임베딩 품질을 향상시키기 위해.
• 텍스트, 사회적, 카테고리 정보를 통합하는 통합 프레임워크를 개발하여 검색 성능을 향상시키기 위해.
• 실제 CQA 환경에서, 전통적인 비지도 학습 또는 텍스트 중심 방법에 비해 지도 학습 기반의 다중 모odal 학습이 우월함을 입증하기 위해.

제안 방법

• 사용자, 질문, 카테고리를 포함한 이질적 네트워크에서 랜덤 워크를 적용하여 사용자 및 질문의 경로 시퀀스를 생성한다.
• 양방향 RNN을 사용하여 랜덤 워크에서 확보한 노드 시퀀스를 조건에 민감한 고밀도 임베딩으로 인코딩한다.
• RNN으로 학습된 사용자 임베딩을 별도의 RNN에서 얻은 질문 텍스트 임베딩과 결합하여 통합된 질문 표현을 형성한다.
• 의미적으로 동일한 질문 간 유사도를 극대화하고, 비동일한 질문 간 유사도를 최소화하기 위해 대tric 손실을 사용하여 모델을 엔드 투 엔드로 훈련한다.
• 질문 카테고리 정보를 지도 신호로 통합하여 표현 학습을 이끌고 카테고리 내 유사도를 향상시킨다.
• 학습된 임베딩을 활용해 새로운 질의 질문과 의미적으로 유사한 이전 질문들을 순서대로 정렬한다.

실험 결과

연구 질문

• RQ1 사용자 소셜 네트워크 상호작용을 통합함으로써 CQA 플랫폼에서 질문 검색을 위한 의미적 질문 표현을 향상시킬 수 있는가?
• RQ2 질문 텍스트 콘텐츠와 사용자 측 정보(예: 소셜 네트워크)를 결합할 경우, 텍스트 중심 모델에 비해 검색 성능에 어떤 영향을 미치는가?
• RQ3 카테고리 지도 신호가 의미적으로 유의미한 질문 임베딩 학습에 얼마나 기여하는가?
• RQ4 이질적 네트워크 기반의 랜덤 워크 전략이 질문과 사용자 간 잠재적 관계를 효과적으로 포착하는가?
• RQ5 텍스트, 사회적, 카테고리 신호를 동시에 모델링하는 딥 러닝 프레임워크가 최신 기술의 지도 학습 및 비지도 학습 기반 베이스라인을 초월할 수 있는가?

주요 결과

• HNIL는 모든 메트릭에서 최고 성능을 기록하며, 80% 훈련 데이터에서 53.22%의 MRR와 40.67%의 MAP를 달성하여 모든 베이스라인을 크게 앞서나간다.
• 80% 훈련 데이터에서 HNIL은 41.01%의 Precision@5를 기록하여 상위 5개 검색 결과의 정확도가 높음을 시사한다.
• 60%의 데이터로 훈련했을 경우에도 HNIL은 47.90%의 MRR을 기록하여 라벨이 제한된 환경에서도 뛰어난 강건성을 보였다.
• 제거 실험 결과, 경로 길이가 6일 때 모든 메트릭에서 최적의 성능을 기록하여 하이퍼파라미터 선택에 민감함을 확인하였다.
• VSM, BM25, Doc2Vec와 같은 비지도 방법에 비해 HNIL, DRLM, RCNNs와 같은 지도 학습 방법이 일관되게 뛰어난 성능을 보여, 카테고리 지도 신호의 가치를 입증한다.
• 소셜 네트워크 정보와 텍스트 콘텐츠의 통합으로 인해 텍스트 중심 모델 대비 MRR에서 15~20%의 상대적 향상이 이루어졌으며, 이는 프레임워크 설계의 타당성을 뒷받침한다.