[논문 리뷰] More Than Reading Comprehension: A Survey on Datasets and Metrics of Textual Question Answering

Yang Bai, Daisy Zhe Wang|arXiv (Cornell University)|2021. 09. 25.

Topic Modeling참고 문헌 70인용 수 9

한 줄 요약

이 종합 검토는 47개의 텍스트 기반 질의응답(QA) 기준 데이터셋을 포괄적이고 응용 중심의 분류로 제공하며, 고전적 및 신규 기계 읽기 이해(MRC), 개방형 QA(ODQA), 일반 지식 기반 QA로 분류한다. 8개의 핵심 평가 지표를 평가하고, 실제 사용자 질문 수집 및 증거 주석화와 같은 데이터셋 구축 추세를 파악하며, 향후에는 위키백과 외 영역, 다중 답변 평가, 통합 평가 지표를 통해 현재 기준 데이터셋을 초월해 해석 가능성과 모델 일반화 능력을 향상시키기 위한 보다 견고한 QA 기준 데이터셋의 필요성을 제안한다.

ABSTRACT

Textual Question Answering (QA) aims to provide precise answers to user's questions in natural language using unstructured data. One of the most popular approaches to this goal is machine reading comprehension(MRC). In recent years, many novel datasets and evaluation metrics based on classical MRC tasks have been proposed for broader textual QA tasks. In this paper, we survey 47 recent textual QA benchmark datasets and propose a new taxonomy from an application point of view. In addition, We summarize 8 evaluation metrics of textual QA tasks. Finally, we discuss current trends in constructing textual QA benchmarks and suggest directions for future work.

연구 동기 및 목표

• growing 수의 다양한 텍스트 기반 QA 기준 데이터셋으로 인한 혼동을 해소하기 위해 통합적이고 응용 중심의 분류 체계를 제공하기 위해.
• 작업 유형, 구축 방법, 통계적 성질을 기준으로 47개의 기준 데이터셋을 체계적으로 비교하기 위해.
• 텍스트 기반 QA에서 사용되는 8개의 평가 지표를 요약하고 분석하여 답변 유형별 분포를 강조하기 위해.
• 실제 사용자 질문 수집 및 증거 주석화와 같은 데이터셋 구축 추세를 파악하기 위해.
• 미래 연구 방향으로는 위키백과 외 영역, 다중 답변 평가, 평가 지표 통합을 제안하기 위해.

제안 방법

• 응용 시나리오 기반으로 새로운 텍스트 기반 QA 작업 분류 체계를 제안하여 고전적 MRC, 네 가지 신규 MRC 유형(대화형, 다단계, 장문형, 다국어), ODQA, 일반 지식 기반 QA를 구분한다.
• 31개의 MRC 데이터셋(18개의 고전적, 13개의 신규 MRC), 11개의 ODQA 데이터셋, 5개의 일반 지식 기반 QA 데이터셋을 검토하여 상세한 통계와 구축 방법을 제공한다.
• 정확도 일치, F1, BLEU, ROUGE, BERT-score, BLEURT, IoU 등 8개의 평가 지표를 요약하고, 수식과 분포 분석을 함께 제시한다.
• 질문 수집, 답변 유형(스팬 대비 자유형), 문맥 소스를 체계적으로 비교하여 데이터셋 구축 추세를 분석한다.
• 모델의 해석 가능성 향상을 위해 지지 문장을 명시적으로 주석화하는 증거 주석화 실천 방식을 평가한다.
• 향후 방향으로는 의료/소셜 미디어 영역 확장, 다중 답변 지원, BERT-score 및 BLEURT와 같은 고급 생성 지표를 활용한 평가 지표 통합을 제안한다.

실험 결과

연구 질문

• RQ1 작업 유형이나 데이터 소스가 아닌 응용 시나리오에 기반해 텍스트 기반 QA 기준 데이터셋을 체계적으로 분류할 수 있는가?
• RQ2 최근 텍스트 기반 QA 데이터셋에서 질문 및 답변 수집 방법의 주요 추세는 무엇인가?
• RQ3 다양한 답변 유형과 작업 유형에서 텍스트 기반 QA의 다양한 평가 지표는 어떻게 성능을 발휘하는가?
• RQ4 현재 기준 데이터셋의 주요 한계점은 무엇인가, 특히 답변의 다중성과 증거 해석 측면에서?
• RQ5 더 견고하고 일반화 가능하며 해석 가능한 텍스트 기반 QA 시스템을 위한 향후 방향은 무엇인가?

주요 결과

• 이 검토는 검색 엔진과 Reddit, Stack Overflow와 같은 QA 웹사이트에서 실제 사용자 질문을 수집하는 경향이 증가하고 있으며, 이는 합성 또는 커뮤니티 기반의 클로즈 스타일 질문 수집보다 더 높아지고 있음을 밝혀냈다.
• 스팬 형식의 답변이 여전히 가장 일반적인 답변 유형이지만, 모델의 해석 가능성 향상을 위해 장문형 답변과 지지 문장을 주석화하는 경향이 증가하고 있다.
• 위키백과가 ODQA 및 MRC 데이터셋의 주요 문맥 소스이지만, 연구자들은 의료 및 소셜 미디어와 같은 위키백과 외 영역을 탐색하기 시작하고 있다.
• 현재 기준 데이터셋 대부분은 단일 기준 답변만 지원하지만, 실제 질문은 종종 다수의 타당한 답변을 가질 수 있으므로 다중 답변 평가 지표의 필요성이 제기된다.
• 기존의 ROUGE나 BLEU와 같은 전통적 지표보다 BERT-score나 BLEURT와 같은 고급 지표가 인간 평가와 더 잘 일치하는 것으로 나타나, 향후 기준 데이터셋 평가에 잠재적인 가능성을 보여준다.
• 증거 주석화—지지 문장을 명시적으로 표시하는 것—는 특히 복잡한 QA 작업에서 점점 더 널리 사용되고 있으며, 이는 모델의 투명성과 추론 추적 가능성을 향상시킨다.