[논문 리뷰] Joint Learning of Answer Selection and Answer Summary Generation in Community Question Answering

Yang Deng, Wai Lam외 5명|arXiv (Cornell University)|2019. 11. 22.

Topic Modeling참고 문헌 45인용 수 4

한 줄 요약

이 논문은 커뮤니티 질문 응답(CQA)에서 답변 선택과 개괄적 요약 생성을 동시에 수행하는 공동 학습 프레임워크인 ASAS를 제안한다. 질문-답변 상관관계를 활용해 요약 생성을 안내하고, 요약을 통해 긴 답변의 노이즈를 줄임으로써, 둘 다 최고 성능을 기록하며, 새로운 대규모 데이터셋인 WikiHowQA를 통해 자원이 부족한 CQA 환경으로도 강력한 전이 능력을 보여준다.

ABSTRACT

Community question answering (CQA) gains increasing popularity in both academy and industry recently. However, the redundancy and lengthiness issues of crowdsourced answers limit the performance of answer selection and lead to reading difficulties and misunderstandings for community users. To solve these problems, we tackle the tasks of answer selection and answer summary generation in CQA with a novel joint learning model. Specifically, we design a question-driven pointer-generator network, which exploits the correlation information between question-answer pairs to aid in attending the essential information when generating answer summaries. Meanwhile, we leverage the answer summaries to alleviate noise in original lengthy answers when ranking the relevancy degrees of question-answer pairs. In addition, we construct a new large-scale CQA corpus, WikiHowQA, which contains long answers for answer selection as well as reference summaries for answer summarization. The experimental results show that the joint learning method can effectively address the answer redundancy issue in CQA and achieves state-of-the-art results on both answer selection and text summarization tasks. Furthermore, the proposed model is shown to be of great transferring ability and applicability for resource-poor CQA tasks, which lack of reference answer summaries.

연구 동기 및 목표

• 커뮤니티 질문 응답(CQA)에서 공동으로 제공된 답변의 부족함과 길이 문제로 인해 정확한 답변 선택과 사용자 이해가 방해당하는 것을 해결하기 위해.
• 질문 기반의 문맥 정보를 통합함으로써 더 관련성 있고 간결한 요약을 얻기 위해 개괄적 답변 요약을 향상시키기 위해.
• 답변 선택 과정에서 긴 답변의 노이즈를 줄이기 위해 생성된 요약을 관련성의 대체 지표로 사용함으로써.
• 기본 요약이 없는 자원이 부족한 CQA 작업을 위한 효과적인 전이 학습을 가능하게 하기 위해.
• 답변 선택과 요약 작업을 모두 지원하는 새로운 대규모 CQA 데이터셋인 WikiHowQA를 구축하기 위해.

제안 방법

• 질문-답변 쌍에 대한 어텐션을 사용하여 질문 기반의 개괄적 요약 생성을 안내하는 포인터-생성 네트워크를 제안한다.
• 답변 요약을 사용하여 질문-답변 쌍의 관련성 점수를 개선함으로써 긴 답변에서 오는 노이즈를 줄이는 공동 학습 프레임워크를 설계한다.
• 이중 스트림 메커니즘을 활용: 하나는 질문 인식 어텐션을 사용해 요약을 생성하고, 다른 하나는 요약의 관련성에 기반해 답변을 순위 매긴다.
• 사전 훈련된 모델을 WikiHowQA에서 미세조정하고, 기존의 기준 요약 없이도 자원이 부족한 CQA 도메인에 적응시키는 전이 학습 전략을 도입한다.
• 답변 선택 정확도와 요약 품질을 동시에 최적화하기 위한 새로운 손실 함수를 사용한다.
• 훈련 및 평가를 위해 장문의 답변과 인간이 애너테이션한 기준 요약을 포함하는 WikiHowQA 데이터셋을 활용한다.

실험 결과

연구 질문

• RQ1 독립된 모델 대비 답변 선택과 개괄적 요약 생성의 공동 학습이 양 측면의 성능 향상에 기여하는가?
• RQ2 질문 인식 요약은 긴 답변에서의 노이즈를 얼마나 효과적으로 줄일 수 있는가?
• RQ3 WikiHowQA와 같은 대규모 CQA 데이터셋에서 사전 훈련된 모델이 기준 요약 없이 자원이 부족한 CQA 도메인으로 얼마나 잘 전이되는가?
• RQ4 생성된 요약을 관련성의 대체 지표로 사용하면 긴 답변에서의 답변 선택 정확도가 향상되는가?
• RQ5 요약 품질과 관련성 측면에서 공동 모델은 추출적 및 개괄적 요약 기반 모델과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 ASAS 모델은 WikiHowQA 데이터셋에서 답변 선택 과제에서 최고 성능을 기록하며, 기존 SOTA 방법들을 능가한다.
• WikiHowQA 벤치마크에서 ASAS는 여행 도메인에서 54.8%의 답변 선택 정확도를 기록하여 최고의 베이스라인인 COALA(52.9%)를 초월한다.
• qualitative 예시에서 볼 수 있듯이, ASAS는 추출적(예: NeuralSum) 및 개괄적(예: PGN) 베이스라인보다 더 정확하고 간결한 요약을 생성한다.
• 자원이 부족한 환경에서, 미세조정을 적용한 ASAS(ASAS/Yes)는 여행 도메인에서 56.5%의 정확도를 기록하여 최고의 베이스라인인 COALA(52.7%)보다 3.8%p 높은 성능을 보였다.
• 미세조정 없이도 ASAS(Finetune/No)는 모든 도메인에서 경쟁 가능한 성능을 기록하며, 강력한 제로샷 전이 능력을 입증했다.
• 공동 학습 프레임워크는 답변의 중복성 영향을 크게 줄여, 동시에 답변 선택 정확도와 요약 품질 향상에 기여한다.