[논문 리뷰] GeoSQA: A Benchmark for Scenario-based Question Answering in the Geography Domain at High School Level

Zixian Huang, Yulin Shen외 6명|arXiv (Cornell University)|2019. 08. 20.

Topic Modeling참고 문헌 22인용 수 6

한 줄 요약

GeoSQA는 고등학교 수준의 지리 지문 기반 질문을 위한 대규모 벤치마크로, 1,981개의 시나리오 기반 질문과 4,110개의 다중선택지 질문을 포함한다. 그림은 자연어 설명으로 수동으로 주석 처리되어 시각-텍스트 통합 추론를 지원한다. 지문 기반 질문 처리, 텍스트 유사성 추론, 독해 능력 평가 등 최신 기법들을 테스트했지만, 모든 모델이 무작위 추측 수준(정확도 23~26%)에 머물러 있어, 시나리오 기반 지리 문제에서 도메인 지식, 일반 지식 추론, 시각-텍스트 이해를 통합하는 데 있어 고유한 과제를 드러낸다.

ABSTRACT

Scenario-based question answering (SQA) has attracted increasing research attention. It typically requires retrieving and integrating knowledge from multiple sources, and applying general knowledge to a specific case described by a scenario. SQA widely exists in the medical, geography, and legal domains---both in practice and in the exams. In this paper, we introduce the GeoSQA dataset. It consists of 1,981 scenarios and 4,110 multiple-choice questions in the geography domain at high school level, where diagrams (e.g., maps, charts) have been manually annotated with natural language descriptions to benefit NLP research. Benchmark results on a variety of state-of-the-art methods for question answering, textual entailment, and reading comprehension demonstrate the unique challenges presented by SQA for future research.

연구 동기 및 목표

• 고등학교 수준의 지리 분야에서 시나리오 기반 질의응답(SQA)을 위한 대규모이고 고품질의 데이터셋 부족 문제를 해결하기 위해.
• 텍스트 시나리오와 그림을 포함한 벤치마크를 제공하여, 그림에 자연어 주석을 추가함으로써 다중 모달 NLP 연구를 지원하기 위해.
• 기존 NLP 기법—예를 들어 질의응답, 텍스트 유사성 추론, 독해 능력 평가 모델—이 복잡한 실제 지리 SQA 과제에서 어떻게 작동하는지 평가하기 위해.
• 현재 모델이 해결하지 못하는 핵심 과제인 지식 검색, 일반 지식 추론, 시나리오 특화 응용에 대해 규명하기 위해.
• 완전하고 주석 처리된 데이터셋을 공개함으로써 향후 시각 기반 SQA, 그림에서 텍스트 생성, 다중 모달 추론 연구를 지원하기 위해.

제안 방법

• 고시 및 모의고사에서 6,000개의 시나리오와 13,000개의 질문을 수집한 후, 구조적 매칭과 텍스트 요소(시나리오, 질문, 선택지)의 코사인 유사도를 이용한 중복 제거를 실시하였다.
• 모든 그림에 자연어 설명을 수동으로 주석 처리하여 시각적 및 텍스트 기반 SQA 연구를 가능하게 하고, 다중 모달 이해를 향상시켰다.
• 11개의 최신 기법을 평가: 두 가지 검색 기반 질의응답(IR 및 PMI), 네 가지 텍스트 유사성 추론 모델(ESIM, DIIN, BERT NLI, BiMPM), 한 가지 독해 능력 평가 모델(BERT RC). 모든 모델은 교과서와 위키백과에서 배경 지식을 활용하였다.
• 시나리오 텍스트, 질문, 선택지를 검색 쿼리로 사용하여 색인된 문헌 집합(Apache Lucene)에서 관련 문장을 검색하였으며, 시나리오 및 그림 주석을 포함하거나 제외한 설정을 사용하였다.
• 각 선택지에 대해 검색 유사도(IR), PMI, 유사성 추론 신뢰도, 또는 스팸 추출 유사도를 사용해 점수를 매기고, 가장 높은 점수를 받은 선택지를 예측 답변으로 선정하였다.
• BERT RC 방법에서는 단어 백 간 코사인 유사도를 사용하여 추출된 답변 스팸과 선택지 텍스트 간의 유사도를 계산하였다.

실험 결과

연구 질문

• RQ1 질의응답, 텍스트 유사성 추론, 독해 능력 평가 등 기존 NLP 기법들이 텍스트, 시각 정보, 도메인 전문 지식을 통합해야 하는 시나리오 기반 지리 질문에서 얼마나 잘 작동하는가?
• RQ2 교과서나 위키백과에서 유래한 배경 지식을 특정 지리적 시나리오에 맞게 검색하고 적용하는 데 있어 핵심 과제는 무엇인가?
• RQ3 일반적인 문헌 코퍼스에 포함되지 않은 일반 지식이나 도메인 전문 지리 지식이 SQA 과제 성능에 미치는 영향은 어느 정도이며, 이를 초월하는가?
• RQ4 시나리오 및 그림 주석의 포함 여부가 다중 모달 SQA에서 모델 성능에 어떤 영향을 미치는가?
• RQ5 현재 모델들이 그림 주석을 통해 시각 정보를 효과적으로 통합하고 텍스트 추론과 융합하여 고등학교 수준의 지리 SQA 문제를 해결할 수 있는가?

주요 결과

• 모든 테스트된 기법이 무작위 추측 수준에 머물렀으며, 정확도는 23.01%에서 26.22% 사이로, 지리 SQA에 대한 현재 NLP 모델의 심각한 한계를 시사한다.
• IR 및 PMI 기법이 가장 높은 성능을 보였으며, 각각 위키백과 기반에서 26.22%와 25.19%를 기록했지만, 일부 설정에서는 랜덤 기준(25%)에 못 미쳤다.
• 텍스트 유사성 추론 모델에 시나리오 텍스트를 포함시키면 성능이 저하되었으며(예: ESIM w/ scenario), 이는 맥락 통합 시 간섭이나 불일치가 발생할 수 있음을 시사한다.
• BERT RC가 전반적으로 가장 낮은 성능을 보였으며(시나리오 포함 23.66%, 포함 없음 23.01%), 이는 스팸 기반 독해 능력 평가가 시나리오 추론이 필요한 SQA 과제에는 부적합하다는 것을 의미한다.
• 모든 기법에서 낮은 성능은 일반 지식을 특정 시나리오에 적용하는 데 어려움이 있음을 보여주며, 특히 일반 지식이나 도메인 전문 지리 지식이 요구될 경우 더욱 심각하다.
• 이 데이터셋은 현재 모델이 다중 모달 추론, 지식 적용, 시나리오 특화 추론에 어려움을 겪고 있음을 드러내며, SQA 분야에서 새로운 아키텍처와 학습 프레임워크의 필요성을 강조한다.