[논문 리뷰] A Survey of Machine Narrative Reading Comprehension Assessments

Yisi Sang, Xiangyang Mou외 3명|arXiv (Cornell University)|2022. 04. 30.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 기계적 내러티브 독해 이해 평가(MRC)를 위한 이차원 체계를 제안하며, 국소적 vs. 전반적 내러티브 표현과 추출된 내러티브 요소의 정도에 따라 작업을 구분한다. 인지 이론과 내러티브 이론을 기반으로 기존 벤치마크를 통합하여 현재 평가 체계의 격차를 드러내며, 특히 의사소통적 추론과 내러티브 요소의 통합 이해 측면에서의 부족함을 지적하고, 향후 내러티브 이해 발전을 위해 더 세밀하고 전반적 인식을 반영한 과제 설계의 필요성을 제기한다.

ABSTRACT

As the body of research on machine narrative comprehension grows, there is a critical need for consideration of performance assessment strategies as well as the depth and scope of different benchmark tasks. Based on narrative theories, reading comprehension theories, as well as existing machine narrative reading comprehension tasks and datasets, we propose a typology that captures the main similarities and differences among assessment tasks; and discuss the implications of our typology for new task design and the challenges of narrative reading comprehension.

연구 동기 및 목표

• 기존 MRC 벤치마크에서 내러티브와 설명적 텍스트 이해 간의 차이가 명확히 구분되지 않는 문제를 해결하기 위해.
• 기계적 내러티브 독해 이해 평가의 고유한 과제, 특히 이해의 범위와 깊이 측면에서의 도전 과제를 특정하고 명확히 하기 위해.
• 내러티브 이론과 인지 과학에 기반한 통합적 체계를 제안하여 기존 평가 과제를 분류하기 위해.
• 의사소통적 추론과 내러티브 요소의 통합 이해와 같은 내러티브 이해에서 미처 다루지 않은 차원을 부각하기 위해.
• 국소적 사실 추출을 넘어서 전반적이고 추론 중심의 평가가 요구되는 미래 과제 설계를 안내하기 위해 전반적 인식과 추론의 중요성을 강조하기 위해.

제안 방법

• 내러티브 표현의 범위(국소적 vs. 전반적)와 내러티브 요소(예: 인물, 사건, 의도 등)의 추출 정도를 기반으로 한 이차원 체계를 개발하기 위해.
• 제안된 체계에 기반해 기존 내러티브 MRC 데이터셋과 과제를 매핑하여 구조적 및 개념적 차이를 드러내기 위해.
• 내러티브 이론(예: 스토리 문법, 마음 이론)과 독해의 인지 이론을 활용하여 체계가 기존 이론적 프레임워크에 기반하도록 하기 위해.
• 기존의 평가 체계에서 범위, 추론 유형, 요소 커버리지 측면의 일관성 부족을 분석하며, 특히 의사소통적 추론과 내러티브 요소의 통합 이해 측면에서의 부족함을 점검하기 위해.
• 이론적 기반을 바탕으로 누락된 평가 차원(예: 발화자 의도, 내러티브 시점 등)을 식별하기 위해.
• 전반적 일관성, 의사소통적 추론, 다중 요소 통합을 강조하는 미래 과제 설계 원칙을 제안하기 위해.

실험 결과

연구 질문

• RQ1 현재 기계적 내러티브 독해 이해 과제는 내러티브 이해의 범위와 깊이 측면에서 어떻게 다릅니까?
• RQ2 내러티브 표현과 추론 측면에서 내러티브 이해 평가를 구분하는 데 핵심이 되는 차원은 무엇입니까?
• RQ3 기존의 평가 체계는 왜 의사소통적 추론과 내러티브 요소의 통합 이해를 충분히 평가하지 못합니까?
• RQ4 내러티브 이론과 인지 과학은 더 효과적이고 종합적인 MRC 평가 과제 설계에 어떻게 기여할 수 있습니까?
• RQ5 현재 내러티브 이해 평가 전략에서 가장 큰 격차는 무엇이며, 어떻게 이를 보완할 수 있습니까?

주요 결과

• 제안된 체계는 국소적 vs. 전반적 내러티브 표현과 내러티브 요소의 추출 정도라는 두 가지 차원에서 기존 내러티브 MRC 과제를 효과적으로 분류한다.
• 기존 많은 평가 체계는 내러티브 요소를 개별적으로 평가하며, 대부분 국소적이고 문장 수준의 추론을 사용하지만, 전반적이고 의사소통적 추론은 여전히 부족하게 반영되어 있다.
• 문장 이름 연결과 인물 식별은 모두 인물 중심이지만, 요구되는 추론 유형과 범위에서 상당한 차이를 보이며, 더 세밀한 과제 분류의 필요성을 드러낸다.
• 인물과 사건 등의 내러티브 요소의 통합 이해는 스토리 진행에 필수적이지만, 현재의 평가 체계에서는 거의 함께 평가되지 않는다.
• 의사소통적 추론, 특히 발화자 의도와 사회적 일반 지식을 포함한 추론는 내러티브 이해에서 매우 중요하지만, 현재의 평가 체계에서는 여전히 부족하게 다뤄지고 있다.
• 본 조사에서는 모델이 표면적 사실을 넘어서 다수의 내러티브 요소를 통합하고 깊이 있는 추론을 수행할 수 있도록 요구하는 더 복잡하고 전반적 인식을 반영한 과제가 절실하게 필요하다는 중요한 필요성을 규명한다.