[논문 리뷰] A Survey on Explainability in Machine Reading Comprehension

Mokanarangan Thayaparan, Marco Valentino외 1명|arXiv (Cornell University)|2020. 10. 01.

Topic Modeling참고 문헌 117인용 수 32

한 줄 요약

이 논문은 기계 독해(MRC)에서 설명가능성의 벤치마크와 아키텍처를 체계적으로 검토하며, 지식 기반 및 운용적 설명, 벤치마크, 평가 지표, 그리고 남은 연구 질문을 상세히 다룬다.

ABSTRACT

This paper presents a systematic review of benchmarks and approaches for explainability in Machine Reading Comprehension (MRC). We present how the representation and inference challenges evolved and the steps which were taken to tackle these challenges. We also present the evaluation methodologies to assess the performance of explainable systems. In addition, we identify persisting open research questions and highlight critical directions for future work.

연구 동기 및 목표

• MRC 맥락에서의 설명가능성을 정의하고, 평가, 일반화 및 해석가능성의 중요성을 제시한다.
• 설명가능성 벤치마크를 분류하고, 작업 도메인, 형식, MRC 유형, 그리고 설명 특성에 따라 분류한다.
• 지식 기반, 운용 기반, 하이브리드 카테고리로 설명가능한 MRC의 아키텍처 접근법을 분류하고, 그 학습 패러다임을 분석한다.
• 설명가능성 평가 지표를 논의하고, 설명가능한 MRC의 벤치마킹에서의 도전 과제를 식별한다.
• 향후 연구 방향과 열려 있는 연구 문제를 개괄한다.

제안 방법

• 2015년 이후 AI/NLP 분야에서의 MRC의 설명가능성에 대한 체계적 고찰.
• 도메인, 형식, MRC 유형, 다중 홉, 설명 유형, 표현 등과 같은 차원으로 벤치마크를 분류한다.
• 지식 기반, 잠재/신경망, 하이브드 모델을 포함한 설명 생성을 위한 아키텍처 패턴의 분류를 제시한다.
• 설명 평가 방법론과 교육을 위한 실버 설명(silver explanations) 개념의 분석을 포함한다.
• 대조적 설명 및 설명의 충실성(faithfulness) 향상과 같은 개방 연구 문제에 대한 논의를 포함한다.

실험 결과

연구 질문

• RQ1 설명가능한 MRC 모델을 개발하고 평가하는 데 사용되는 주요 벤치마크와 데이터 세트는 무엇인가?
• RQ2 MRC에서 설명을 생성하고 통합하는 데 사용되는 아키텍처 패턴은 무엇이며, 추출적 작업과 추상적 작업에서 어떻게 다른가?
• RQ3 MRC에서 설명가능성은 어떻게 평가되며, 설명의 벤치마킹에서 어떤 지표와 도전 과제가 존재하는가?
• RQ4 현재 설명가능한 MRC 연구의 한계와 남은 질문은 무엇이며, 향후 연구를 위해 어떤 방향이 권장되는가?

주요 결과

• MRC의 설명가능성은 지식 기반 설명과 운용적 설명의 두 가지 주요 유형으로 추구되며, 추상적 추론에 대한 점진적 강조가 증가하고 있다.
• 설명가능한 MRC를 위한 벤치마크는 다중 홉 추론과 명시적 설명 신호를 점점 더 포함하고 있으며, 이는 오픈 도메인, 과학, 상식 도메인의 추출적 및 추상적 작업을 아우른다.
• 아키텍처적 경향은 설명가능성을 위한 감독 신경망 접근으로의 전환을 보이고 있으며, 설명의 타당성과 관련성 모델링에 트랜스포머 및 그래프 네트워크의 활용이 증가하고 있다.
• 설명가능성 평가에는 정확 일치, F1, 순위 지표, 언어 생성 지표가 결합되며, 설명의 충실성 및 품질에 대한 우려가 있다.
• 질문 분해, 명시적 추론 사슬, 신경-기호학적 접근 등 설명가능성 및 일반화 향상을 위한 데이터 세트 및 방법론적 혁신이 최근에 도입되고 있다.
• 이 논문은 대조적 설명의 필요성과 설명의 충실성 향상 등 남은 연구 질문을 제시한다.