[논문 리뷰] XTQA: Span-Level Explanations of the Textbook Question Answering

Jie Ma, Qi Chai외 4명|arXiv (Cornell University)|2020. 11. 25.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 교과서 질문-답변(TQA)에서 스파니어 레벨 설명을 위한 새로운 프레임워크인 XTQA를 제안한다. 이 프레임워크는 전체 수업 내용에서 관련 문장 스팬을 식별하기 위해 굵은-세밀한 설명 추출(EE) 알고리즘을 사용한다. 약한 지도 학습 방식으로 답변 레이블을 활용해 설명 추출을 최적화함으로써, XTQA는 설명 품질에서 52.38%의 mIoU와 CK12-QA 테스트 분할에서 36.95%의 정확도를 기록하며 최신 기술 수준(SOTA) 성능을 달성하여 설명 가능성과 TQA 성능 향상을 입증한다.

ABSTRACT

Textbook Question Answering (TQA) is a task that one should answer a diagram/non-diagram question given a large multi-modal context consisting of abundant essays and diagrams. We argue that the explainability of this task should place students as a key aspect to be considered. To address this issue, we devise a novel architecture towards span-level eXplanations of the TQA (XTQA) based on our proposed coarse-to-fine grained algorithm, which can provide not only the answers but also the span-level evidences to choose them for students. This algorithm first coarsely chooses top $M$ paragraphs relevant to questions using the TF-IDF method, and then chooses top $K$ evidence spans finely from all candidate spans within these paragraphs by computing the information gain of each span to questions. Experimental results shows that XTQA significantly improves the state-of-the-art performance compared with baselines. The source code is available at https://github.com/keep-smile-001/opentqa

연구 동기 및 목표

• 현재 질문에 대한 답변만 제공할 뿐 추론 근거를 제시하지 않는 Textbook Question Answering(TQA) 시스템의 설명 가능성 부족 문제를 해결하기 위해.
• 특정 답변이 선택된 이유를 설명하는 데 사용되는 문단 내 문장 조합으로 구성된 스파니어 레벨 설명을 생성하는 방법을 개발하기 위해.
• 이해관계자 파이프라인에 설명 추출 모듈을 통합함으로써 TQA 성능과 해석 가능성 양측을 향상시키기 위해.
• 기존 TQA 모델과의 호환성을 확보하여 설명 모듈를 즉시 통합할 수 있도록 하여 성능 향상과 설명 가능성 향상을 동시에 달성하기 위해.
• 골드 표준 설명 애너테이션이 부재한 상황에서 답변 레이블을 활용한 약한 지도 학습 방식의 설명 추출 효과를 검증하기 위해.

제안 방법

• XTQA는 수업의 전체 텍스트적 맥락을 후보 증거로 간주하며, 각 문단을 검색을 위한 문서로 모델링한다.
• 粗모양 단계에서는 질문과 관련성이 높은 상위 M개의 문단을 임베딩 기반 질의 확장 기법을 통해 검색한다.
• 세밀한 단계에서는 상위 M개의 문단 내 모든 후보 스팬에 대해 정보량 증가량을 계산하여 질문에 답하는 데 가장 유용한 스팬을 식별한다.
• 정보량 증가량은 스팬이 질문에 대한 불확실성을 얼마나 줄이는지를 측정하며, 높은 값일수록 더 뛰어난 설명적 관련성을 의미한다.
• 설명 추출은 약한 지도 학습 방식으로 수행된다: 골드 표준 설명 애너테이션이 없기 때문에, 설명 품질을 향상시키기 위해 답변 레이블을 최적화 목표로 삼는다.
• 이 EE 알고리즘은 다른 TQA 모델에 통합되어 설명 가능성을 높이고 성능을 향상시킬 수 있다.

실험 결과

연구 질문

• RQ1 TQA 시스템은 인간 학습자에게 정확하고 이해하기 쉬운 스파니어 레벨 설명을 생성할 수 있는가?
• RQ2 다중 모odal 교과서 맥락에서 설명 생성을 위한 관련 문장 스팬을 식별하는 데 굵은-세밀한 접근 방식이 얼마나 효과적인가?
• RQ3 설명 추출 모듈을 통합함으로써 전체 TQA 성능 향상은 어느 정도 이루어지는가?
• RQ4 도표가 포함된 경우 설명의 품질과 답변 정확도 간 상관관계는 어떻게 되는가?
• RQ5 골드 표준 애너테이션이 없는 상황에서 답변 레이블을 활용한 약한 지도 학습 방식의 설명 추출이 신뢰할 수 있고 유용한 설명을 도출할 수 있는가?

주요 결과

• XTQA는 CK12-QA 테스트 분할의 첫 300개 질문(비도표 질문 150개, 도표 질문 150개)에서 설명 품질 평가 지표인 평균 교차율(mIoU)이 52.38%로 최고 성능을 기록했다.
• 이 방법은 테스트 분할에서 TQA 성능을 36.95%로 향상시켰으며, 이는 이전 최신 기술 수준 방법보다 2.89%포인트 높은 성능이다.
• 정답을 맞춘 질문들에 대해서는 설명 mIoU가 73.65%에 도달하여 정답과 정확한 설명 간 강한 일치를 보였다.
• 오답을 낸 질문들에 대해서는 설명 mIoU가 35.97%로 떨어졌으며, 이는 텍스트 스팬 외에도 도표 이해 능력 등 다른 요소들이 답변 정확도에 결정적인 영향을 미칠 수 있음을 시사한다.
• 粗모양 단계가 핵심적 한계점이다: 문단 검색 오류는 세밀한 스팬 추출 실패로 이어지며, 이는 향상된 검색 기술의 필요성을 강조한다.
• 텍스트 질문의 4%와 도표 질문의 12.5%만이 지침용 도표를 필요로 하며, 나머지 80%는 단일 또는 다중 문장에 의존하므로 스파니어 레벨 텍스트 설명에 초점을 맞추는 것이 타당하다.