[논문 리뷰] ELI5: Long Form Question Answering

Angela Fan, Yacine Jernite외 4명|arXiv (Cornell University)|2019. 07. 22.

Topic Modeling참고 문헌 25인용 수 14

한 줄 요약

이 논문은 270만 개의 Reddit 스레드로 구성된 대규모 데이터셋인 ELI5를 소개한다. 이 데이터셋은 복잡한 개방형 질문에 대해 모델이 다중 문장의 개성 있는 설명을 생성하는 장문의 질의 응답을 위해 제작되었다. 다중 작업 학습 접근법을 제안하며, 언어 모델링, 마스킹된 단어 예측, 답변 생성을 동시에 학습하는 Seq2Seq 모델을 사용하여 최신 성능을 달성하였다. 다만 인간 평가 결과, 정답 답변이 86%의 경우에서 선호됨을 확인하여 장기적 맥락 이해 및 생성 능력 향상에 여전히 큰 여유가 있음을 시사한다.

ABSTRACT

We introduce the first large-scale corpus for long-form question answering, a task requiring elaborate and in-depth answers to open-ended questions. The dataset comprises 270K threads from the Reddit forum ``Explain Like I'm Five'' (ELI5) where an online community provides answers to questions which are comprehensible by five year olds. Compared to existing datasets, ELI5 comprises diverse questions requiring multi-sentence answers. We provide a large set of web documents to help answer the question. Automatic and human evaluations show that an abstractive model trained with a multi-task objective outperforms conventional Seq2Seq, language modeling, as well as a strong extractive baseline. However, our best model is still far from human performance since raters prefer gold responses in over 86% of cases, leaving ample opportunity for future improvement.

연구 동기 및 목표

• 장문의 개방형 질의 응답에 대해 다중 문장의 개성 있는 응답이 필요한 대규모 데이터셋의 부족을 해결하기 위해.
• 장기적이고 다양한 웹 문서에서 정보를 검색하고 융합하여 종합적인 답변을 생성하는 데 있어 도전 과제를 연구하기 위해.
• 장문의 질의 응답을 위한 개성 있는 생성 능력을 향상시키기 위해 다중 작업 학습 프레임워크를 개발하고 평가하기 위해.
• 추출형, 검색 기반, 생성형 모델의 성능을 이 새로운 과제에서 평가하며, 장기적 맥락 이해 및 장문의 출력 생성 능력에 중점을 두기 위해.

제안 방법

• ELI5 데이터셋은 Reddit의 'Explain Like I'm Five' 포럼에서 270만 개의 스레드를 바탕으로 구성되었으며, 사용자들이 복잡한 질문에 대해 간단화된 단락 길이의 답변을 제공한다.
• 각 예시는 질문, 지원 웹 문서(평균 약 1070단어), 그리고 기준 답변(평균 130.6단어)을 포함한다.
• 다중 작업 학습 목표를 제안하며, 동일한 데이터를 사용해 언어 모델링, 마스킹된 단어 예측, 답변 생성의 세 가지 작업을 동시에 학습하는 단일 Seq2Seq 모델을 훈련한다.
• 모델 아키텍처는 트랜스포머 기반 인코더-디코더 프레임워크를 기반으로 하며, 다중 작업 목표에 대해 엔드 투 엔드로 미세조정되어 일반화 및 개성 있는 생성 능력을 향상시킨다.
• 평가에는 자동 평가 지표(ROUGE)와 인간 평가를 사용하며, 평가자들이 기준 답변을 모델 출력보다 86%의 경우에서 선호한다.
• 기준 모델로는 표준 Seq2Seq, 언어 모델링, 그리고 다중 문장 출력으로 일반화된 BidAF 기반의 강력한 추출형 기준 모델이 포함된다.

실험 결과

연구 질문

• RQ1 기존의 표준 Seq2Seq 및 언어 모델링 기준 모델에 비해 다중 작업 학습 접근법이 개성 있는 장문의 질의 응답을 향상시킬 수 있는가?
• RQ2 기존의 추출형 및 검색 기반 모델이 장문의 다중 문장 답변 생성에 얼마나 잘 일반화되는가?
• RQ3 최신 신경망 모델과 인간이 작성한 답변 사이의 성능 격차는 장문의 질의 응답에서 얼마나 큰가?
• RQ4 모델 성능이 장기적이고 다중 문서 입력을 이해하고 일관되고 종합적인 답변을 생성하는 능력에 의해 얼마나 제한되는가?
• RQ5 자동 평가 지표인 ROUGE가 장문의 답변 품질 평가에서 인간의 판단과 얼마나 관련이 있는가?

주요 결과

• 다중 작업 학습 접근법은 자동 평가(ROUGE) 및 인간 평가 지표 양면에서 기존의 표준 Seq2Seq 및 언어 모델링 기준 모델보다 유의미하게 뛰어난 성능을 보였다.
• 가장 성능이 뛰어난 모델조차도 인간 평가자들이 선호하는 답변을 14%의 경우에만 생성하여 인간 수준의 성능과의 큰 격차가 있음을 시사한다.
• 인간 평가 결과 기준 답변이 모델 출력보다 86%의 경우에서 선호됨을 확인하여 이 과제의 난이도와 향후 향상의 필요성을 강조한다.
• 모델의 성능은 장기적이고 다중 문서 입력을 이해하고 일관되고 종합적인 장문의 답변을 생성하는 능력에 의해 크게 제한된다.
• ROUGE 점수는 인간 판단과 상관이 있긴 하지만, 답변 품질을 완전히 포괄하지 못하므로 더 세밀한 평가 프로토콜이 필요함을 시사한다.
• ELI5 데이터셋은 장기적 맥락 이해 및 개성 있는 생성에 대한 연구를 가능하게 하며, 개방형 다중 문장 질의 응답 분야의 향후 연구를 위한 기준을 제공한다.