[논문 리뷰] ExplainaBoard: An Explainable Leaderboard for NLP

Pengfei Liu, Jinlan Fu외 8명|arXiv (Cornell University)|2021. 04. 13.

Topic Modeling참고 문헌 48인용 수 14

한 줄 요약

ExplainaBoard는 모델 출력의 해석 가능성, 상호작용성, 신뢰성 있는 분석을 가능하게 하는 오픈소스로, 기존 랭킹 기반의 평가를 확장한 NLP 평가 플랫폼이다. 단일 시스템 진단, 상호 비교, 오류 분석, 시스템 조합, 신뢰성 검사(예: 신뢰구간)를 지원하며, 앙상블 기법을 통해 CoNLL-2003에서 F1 점수 94.65의 새로운 최고 성능을 달성했다.

ABSTRACT

With the rapid development of NLP research, leaderboards have emerged as one tool to track the performance of various systems on various NLP tasks. They are effective in this goal to some extent, but generally present a rather simplistic one-dimensional view of the submitted systems, communicated only through holistic accuracy numbers. In this paper, we present a new conceptualization and implementation of NLP evaluation: the ExplainaBoard, which in addition to inheriting the functionality of the standard leaderboard, also allows researchers to (i) diagnose strengths and weaknesses of a single system (e.g.~what is the best-performing system bad at?) (ii) interpret relationships between multiple systems. (e.g.~where does system A outperform system B? What if we combine systems A, B, and C?) and (iii) examine prediction results closely (e.g.~what are common errors made by multiple systems, or in what contexts do particular errors occur?). So far, ExplainaBoard covers more than 400 systems, 50 datasets, 40 languages, and 12 tasks. ExplainaBoard keeps updated and is recently upgraded by supporting (1) multilingual multi-task benchmark, (2) meta-evaluation, and (3) more complicated task: machine translation, which reviewers also suggested.} We not only released an online platform on the website \url{http://explainaboard.nlpedia.ai/} but also make our evaluation tool an API with MIT Licence at Github \url{https://github.com/neulab/explainaBoard} and PyPi \url{https://pypi.org/project/interpret-eval/} that allows users to conveniently assess their models offline. We additionally release all output files from systems that we have run or collected to motivate "output-driven" research in the future.

연구 동기 및 목표

• 기존 NLP 랭킹 기반 평가의 한계를 해결하기 위해, 단일 종합 지표에 의존하고 해석 가능성, 상호작용성, 신뢰성 부족을 보완한다.
• 전체 정확도를 넘어서 개별 모델의 강점과 약점을 진단할 수 있도록 연구자들을 지원한다.
• 모델 간 관계의 상호작용적 탐색을 가능하게 하며, 시스템 조합 및 오류 패턴 분석을 포함한다.
• 신뢰구간과 校정 분석을 통해 성능 평가의 신뢰성을 향상시킨다.
• 모델 출력 공유와 향후 출력 기반 연구를 가능하게 하는 중심화되고 공동으로 운영되는 플랫폼을 구축한다.

제안 방법

• 모델 출력과 메타데이터를 처리하여 해석 가능한 시각화 및 통계 요약을 생성하는 모듈식 평가 프레임워크를 설계한다.
• 입력 속성(예: 엔티티 길이, 레이블 유형 등)에 따라 그룹화된 성능 히스토GRAM을 사용해 단일 시스템 분석을 구현한다.
• 입력 속성에 따라 두 모델를 비교할 수 있는 성능 격차 히스토GRAM을 통한 상호 비교 분석을 가능하게 한다.
• 데이터셋 수준의 속성(예: 평균 엔티티 길이)을 다수의 데이터셋에서 시각화하여 데이터 편향 분석을 지원한다.
• 세부 오류 분석을 통합하여 맥락, 진짜 레이블, 예측 레이블과 함께 잘못 예측된 토큰 목록을 제시한다.
• 여러 모델의 투표 또는 가중치 기반 조합 성능을 보여주는 앙상블 차트를 통해 시스템 조합을 지원한다.

실험 결과

연구 질문

• RQ1 어떻게 NLP 평가가 단일 수치 기반 순위에서 벗어나 모델의 강점과 약점을 드러낼 수 있는가?
• RQ2 상호작용적 분석을 통해 모델 간 상보적인 행동, 특히 오류 패턴에서의 상호보완성은 어느 정도 드러날 수 있는가?
• RQ3 간단한 앙상블 전략을 통해 상위 성능 모델들을 조합하면 벤치마크 작업에서 성능 향상을 이룰 수 있는가?
• RQ4 신뢰구간과 校정 지표는 모델 성능 평가의 신뢰성에 어떻게 기여하는가?
• RQ5 공유되고 개방된 모델 출력 플랫폼은 향후 다중 시스템 분석과 재현 가능성 연구에 어떤 역할을 할 수 있는가?

주요 결과

• ExplainaBoard는 실시간 상호작용 진단을 통해 50개의 데이터셋, 40개의 언어, 12개의 작업, 400개 이상의 시스템을 분석할 수 있다.
• 단일 시스템 분석을 통해 최첨단 NER 모델도 긴 엔티티에서는 성능이 떨어지며, 특히 긴 길이 범주에서 성능 저하가 심각하게 나타났다.
• 쌍별 분석을 통해 LUKE는 전반적으로 FLERT를 능가하지만, PERSON 엔티티에서는 FLERT가 더 우수한 성능을 보여, 상호보완적인 강점이 있음을 확인했다.
• 공통 오류 분석을 통해 상위 3개 모델가 모두 잘못 예측한 샘플을 확인했으며, 이는 애너테이션의 일관성 부족이나 어법적 난이도 높은 패턴을 드러냈다.
• 상위 3개 모델의 단순 투표 앙상블 전략이 CoNLL-2003 NER 벤치마크에서 F1 점수 94.65의 새로운 최고 성능을 달성했다.
• 95% 신뢰구간을 사용한 신뢰성 분석을 통해 긴 엔티티 카테고리에서 성능 변동성이 더 높아 신뢰도 추정의 불확실성이 높다는 점이 드러났다.