[論文レビュー] ExplainaBoard: An Explainable Leaderboard for NLP

Pengfei Liu, Jinlan Fu+8 more|arXiv (Cornell University)|Apr 13, 2021

Topic Modeling参考文献 48被引用数 14

ひとこと要約

ExplainaBoard は、従来のリーダーボードを拡張し、解釈可能でインタラクティブかつ信頼性の高いモデル出力分析を可能にするオープンソースでインタラクティブな NLP 評価プラットフォームです。単一システムの診断、対比較、誤り分析、システム結合、信頼性のチェック（例：信頼区間）をサポートし、アンサンブル手法を用いて CoNLL-2003 で 94.65 の新しい最良の F1 スコアを達成しました。

ABSTRACT

With the rapid development of NLP research, leaderboards have emerged as one tool to track the performance of various systems on various NLP tasks. They are effective in this goal to some extent, but generally present a rather simplistic one-dimensional view of the submitted systems, communicated only through holistic accuracy numbers. In this paper, we present a new conceptualization and implementation of NLP evaluation: the ExplainaBoard, which in addition to inheriting the functionality of the standard leaderboard, also allows researchers to (i) diagnose strengths and weaknesses of a single system (e.g.~what is the best-performing system bad at?) (ii) interpret relationships between multiple systems. (e.g.~where does system A outperform system B? What if we combine systems A, B, and C?) and (iii) examine prediction results closely (e.g.~what are common errors made by multiple systems, or in what contexts do particular errors occur?). So far, ExplainaBoard covers more than 400 systems, 50 datasets, 40 languages, and 12 tasks. ExplainaBoard keeps updated and is recently upgraded by supporting (1) multilingual multi-task benchmark, (2) meta-evaluation, and (3) more complicated task: machine translation, which reviewers also suggested.} We not only released an online platform on the website \url{http://explainaboard.nlpedia.ai/} but also make our evaluation tool an API with MIT Licence at Github \url{https://github.com/neulab/explainaBoard} and PyPi \url{https://pypi.org/project/interpret-eval/} that allows users to conveniently assess their models offline. We additionally release all output files from systems that we have run or collected to motivate "output-driven" research in the future.

研究の動機と目的

• 従来の NLP リーダーボードの限界に対処する。これらは単一の包括的指標に依存しており、解釈可能性、インタラクティビティ、信頼性に欠ける。
• 研究者が全体の正確性を越えて、個々のモデルの強みと弱みを診断できるようにする。
• システム結合や誤りパターン分析を含む、モデル間の関係のインタラクティブな探索を支援する。
• 信頼区間やキャリブレーション分析を通じて、パフォーマンス評価の信頼性を向上させる。
• モデル出力を共有し、将来の出力駆動型研究を可能にする、中央集権的でコミュニティ主導のプラットフォームを確立する。

提案手法

• モデル出力とメタデータを処理して解釈可能な可視化と統計要約を生成するモジュール式の評価フレームワークを設計する。
• 入力属性（例：エンティティ長、ラベルタイプ）ごとにグループ化されたパフォーマンスヒストグラムを用いた単一システム分析を実装する。
• 入力属性にわたる2つのモデルの比較を可能にするパフォーマンスギャップヒストグラムを介して、対比較分析を可能にする。
• 複数のデータセットにわたるデータセットレベルの属性（例：平均エンティティ長）を可視化することで、データバイアス分析を支援する。
• 文脈、正解ラベル、予測ラベルを含む誤った予測トークンのリストを提示する細分化された誤り分析を統合する。
• 投票または重み付き結合の複数のモデルのパフォーマンスを示すアンサンブルチャートを通じて、システム結合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 NLP 評価は、単一の数値順位からどのように脱却し、モデルの強みと弱みを明らかにできるか？
• RQ2 インタラクティブな分析は、特に誤りパターンにおいて、モデル間の補完的行動をどの程度明らかにできるか？
• RQ3 単純なアンサンブル戦略を用いてトップパフォーマンスモデルを結合することで、ベンチマークタスクでのパフォーマンスが向上するか？
• RQ4 信頼区間やキャリブレーション指標は、モデルパフォーマンス評価の信頼性をどのように向上させるか？
• RQ5 モデル出力の共有とオープンなプラットフォームは、将来のクロスシステム分析と再現性の向上にどのような役割を果たすか？

主な発見

• ExplainaBoard は 50 のデータセット、40 の言語、12 のタスク、400 を超えるシステムをカバーする分析をリアルタイムでインタラクティブに可能にした。
• 単一システム分析により、最先端の NER モデルでさえも、長いエンティティでは性能が著しく低下していることが判明した。
• 対比較分析により、LUKE は全体的に FLERT を上回っているが、PERSON エンティティでは FLERT が優れていることが判明し、相補的な強みが示された。
• 一般的な誤り分析により、上位3つのモデルすべてが誤って予測したサンプルが特定され、アノテーションの不整合性や困難な言語的パターンが明らかになった。
• 上位3つのモデルの単純な投票アンサンブルにより、CoNLL-2003 NER ベンチマークで 94.65 の新しい最良の F1 スコアが達成された。
• 95% 信頼区間を用いた信頼性分析により、より長いエンティティカテゴリではパフォーマンスのばらつきが顕著であることが判明し、推定値の不確実性が強調された。