[论文解读] ExplainaBoard: An Explainable Leaderboard for NLP

Pengfei Liu, Jinlan Fu+8 more|arXiv (Cornell University)|Apr 13, 2021

Topic Modeling参考文献 48被引用 14

一句话总结

ExplainaBoard 是一个开源的、交互式的 NLP 评估平台，通过支持可解释性、交互式和可靠的模型输出分析，扩展了传统排行榜的功能。它支持单系统诊断、成对比较、错误分析、系统组合以及可靠性检查（例如置信区间），通过集成方法在 CoNLL-2003 上实现了新的 SOTA F1 得分 94.65。

ABSTRACT

With the rapid development of NLP research, leaderboards have emerged as one tool to track the performance of various systems on various NLP tasks. They are effective in this goal to some extent, but generally present a rather simplistic one-dimensional view of the submitted systems, communicated only through holistic accuracy numbers. In this paper, we present a new conceptualization and implementation of NLP evaluation: the ExplainaBoard, which in addition to inheriting the functionality of the standard leaderboard, also allows researchers to (i) diagnose strengths and weaknesses of a single system (e.g.~what is the best-performing system bad at?) (ii) interpret relationships between multiple systems. (e.g.~where does system A outperform system B? What if we combine systems A, B, and C?) and (iii) examine prediction results closely (e.g.~what are common errors made by multiple systems, or in what contexts do particular errors occur?). So far, ExplainaBoard covers more than 400 systems, 50 datasets, 40 languages, and 12 tasks. ExplainaBoard keeps updated and is recently upgraded by supporting (1) multilingual multi-task benchmark, (2) meta-evaluation, and (3) more complicated task: machine translation, which reviewers also suggested.} We not only released an online platform on the website \url{http://explainaboard.nlpedia.ai/} but also make our evaluation tool an API with MIT Licence at Github \url{https://github.com/neulab/explainaBoard} and PyPi \url{https://pypi.org/project/interpret-eval/} that allows users to conveniently assess their models offline. We additionally release all output files from systems that we have run or collected to motivate "output-driven" research in the future.

研究动机与目标

• 解决传统 NLP 排行榜的局限性，后者依赖单一整体指标且缺乏可解释性、交互性和可靠性。
• 使研究人员能够诊断单个模型的优势与劣势，而不仅限于整体准确率。
• 支持对模型之间关系的交互式探索，包括系统组合和错误模式分析。
• 通过置信区间和校准分析提高性能评估的可靠性。
• 建立一个集中化、社区驱动的平台，用于共享模型输出并支持未来的输出驱动型研究。

提出的方法

• 设计一个模块化的评估框架，处理模型输出和元数据，以生成可解释的可视化结果和统计摘要。
• 通过按输入属性（例如实体长度、标签类型）分组的性能直方图，实现单系统分析。
• 通过性能差距直方图支持成对分析，以跨输入属性比较两个模型。
• 通过可视化数据集层面的属性（例如平均实体长度）在多个数据集上的分布，支持数据偏差分析。
• 集成细粒度错误分析，列出带有上下文、真实标签和预测标签的误预测标记。
• 通过展示投票或加权组合多个模型性能的集成图表，支持系统组合。

实验结果

研究问题

• RQ1 NLP 评估如何超越单一数值排名，以揭示模型的优势与劣势？
• RQ2 交互式分析在多大程度上能揭示模型之间的互补行为，尤其是在错误模式方面？
• RQ3 通过简单的集成策略组合表现最佳的模型，是否能在基准任务上实现性能提升？
• RQ4 置信区间和校准指标在多大程度上能提高模型性能评估的可靠性？
• RQ5 一个共享的、开放的模型输出平台在支持未来跨系统分析和可复现性方面发挥什么作用？

主要发现

• ExplainaBoard 支持对 50 个数据集、40 种语言、12 项任务以及 400 多个系统进行分析，提供实时交互式诊断。
• 单系统分析显示，即使是最先进的 NER 模型在处理更长的实体时性能也明显下降，尤其在长长度区间表现更差。
• 成对分析表明，尽管 LUKE 整体优于 FLERT，但 FLERT 在 PERSON 实体上的表现更优，显示出互补优势。
• 常见错误分析识别出被所有前三名模型误预测的样本，揭示了标注不一致或具有挑战性的语言模式。
• 对前三名模型进行简单投票集成，使 CoNLL-2003 NER 基准任务的 F1 得分达到新的 SOTA 水平 94.65。
• 通过 95% 置信区间进行的可靠性分析表明，长实体类别中的性能变异性更高，凸显了估计结果的不确定性。