[논문 리뷰] Teach Me to Explain: A Review of Datasets for Explainable NLP.

Sarah Wiegreffe, Ana Marasović|arXiv (Cornell University)|2021. 02. 24.

Topic Modeling참고 문헌 143인용 수 59

한 줄 요약

이 논문은 설명 가능한 NLP를 위한 데이터셋을 검토하며, 인간이 주석 처리한 설명을 '하이라이트', '자유형 텍스트', '구조화된'로 세 가지 유형으로 분류하고, 수집, 활용, 평가에 관한 통합된 결과를 요약한다. 기존 문헌과 데이터 증강, 모델 훈련, 설명 품질 평가의 실무에서 얻은 교훈을 바탕으로 향후 데이터셋 제작을 위한 권고 사항을 제시한다.

ABSTRACT

Explainable NLP (ExNLP) has increasingly focused on collecting human-annotated explanations. These explanations are used downstream in three ways: as data augmentation to improve performance on a predictive task, as a loss signal to train models to produce explanations for their predictions, and as a means to evaluate the quality of model-generated explanations. In this review, we identify three predominant classes of explanations (highlights, free-text, and structured), organize the literature on annotating each type, point to what has been learned to date, and give recommendations for collecting ExNLP datasets in the future.

연구 동기 및 목표

• 설명 가능한 NLP에서 사용되는 인간 주석 처리 설명의 세 가지 주요 유형—하이라이트, 자유형 텍스트, 구조화된 설명—을 식별하고 분류하는 것.
• 각 설명 유형의 주석 처리에 관한 기존 문헌을 정리하고 통합하여 방법론적 추세와 과제를 부각하는 것.
• 현재 연구에서 설명이 어떻게 활용되고 있는지 요약하는 것—특히 데이터 증강, 손실 신호, 평가 지표로서의 역할.
• 실증적 통찰과 최선의 실천 방식을 바탕으로 향후 고품질 ExNLP 데이터셋 수집을 위한 실천 가능한 권고 사항을 제시하는 것.
• 개선된 데이터셋 설계와 주석 기준을 통해 더 신뢰할 수 있고 해석 가능하며 일반화 가능한 NLP 모델 개발을 지원하는 것.

제안 방법

• 설명 가능한 NLP에서의 기존 데이터셋과 주석 처리 관행에 대한 체계적 검토로, 하이라이트, 자유형 텍스트, 구조화된 설명의 세 가지 설명 유형에 집중한다.
• 주석 형식, 작업 유형, 후속 응용(예: 데이터 증강, 모델 훈련, 평가) 기반으로 데이터셋을 분류한다.
• 설명이 세 가지 주요 방식으로 어떻게 활용되고 있는지 분석한다—데이터 증강을 통한 모델 성능 향상, 손실 신호를 통한 설명 생성 모델 훈련, 설명 평가.
• 다수의 연구에서의 결과를 통합하여 주석 수집 과정에서 나타나는 공통 과제, 설계 패턴, 최선의 실천 방식을 도출한다.
• 일致성, 확장성, 모델 평가 요구사항과의 일치를 강조하여 향후 데이터셋 수집을 위한 권고 사항을 수립한다.
• qualitative 및 비교 분석을 활용하여 기존 데이터셋의 품질과 유용성이 ExNLP 연구 지원에 얼마나 기여하는지 평가한다.

실험 결과

연구 질문

• RQ1 NLP에서 인간이 주석 처리한 설명의 주요 형태는 무엇이며, 그 구조와 목적에서 어떻게 다릅니까?
• RQ2 설명은 현재 어떤 하위 NLP 작업에서 활용되고 있으며, 모델 성능과 해석 가능성에 어떤 영향을 미치고 있습니까?
• RQ3 하이라이트, 자유형 텍스트, 구조화된 설명의 주석 처리 과정에서 나타나는 방법론적 패턴과 과제는 무엇입니까?
• RQ4 기존 데이터셋에서 도출할 수 있는 교훈은 향후 ExNLP 데이터셋 설계에 어떻게 활용될 수 있습니까?
• RQ5 향후 데이터셋은 어떻게 최적화되어야 하여 데이터 증강, 모델 훈련, 설명 품질 평가를 지원할 수 있습니까?

주요 결과

• 하이라이트, 자유형 텍스트, 구조화된 설명은 ExNLP에서 인간 주석 처리 설명의 세 가지 주요 유형이며, 각각 다른 주석 처리 관행과 활용 사례를 가진다.
• 설명은 예측 작업의 성능 향상을 위해 주로 데이터 증강 수단으로 사용되며, 특히 자원이 제한된 환경에서 두드러진다.
• 훈련 과정에서 설명을 손실 신호로 활용하면 모델이 생성한 설명이 인간 주석 처리 설명과 일치하게 되어 신뢰성과 해석 가능성 향상에 기여한다.
• 모델이 생성한 설명의 평가는 인간 주석 처리 설명이 기준이 되는 경우에 가장 효과적으로 이루어진다.
• 진전이 있었음에도 불구하고, 주석 지침과 평가 프로토콜의 일관성 부족은 여전히 문제로 남아 있어 재현 가능성과 비교 가능성에 제약을 가한다.
• 향후 데이터셋은 표준화되고 확장 가능하며 다양한 주석 지침을 우선시하여 강력한 모델 개발과 평가를 지원해야 한다.