[論文レビュー] Utility is in the Eye of the User: A Critique of NLP Leaderboards

Kawin Ethayarajh, Dan Jurafsky|arXiv (Cornell University)|Sep 29, 2020

Topic Modeling参考文献 55被引用数 13

ひとこと要約

この論文は、NLPリーダーボードが実際の実務家のニーズとずれていると批判し、効率性、公平性、レイテンシなどの実用的要因よりもモデルの正確性を優先している点を指摘する。モデルのサイズ、エネルギー消費、推論速度の透明な報告をリーダーボードに組み込むことで、ユーザーが個人のユーティリティを計算し、特定の優先順位に基づいて動的にモデルを再ランク付けできるようにする。

ABSTRACT

Benchmarks such as GLUE have helped drive advances in NLP by incentivizing the creation of more accurate models. While this leaderboard paradigm has been remarkably successful, a historical focus on performance-based evaluation has been at the expense of other qualities that the NLP community values in models, such as compactness, fairness, and energy efficiency. In this opinion paper, we study the divergence between what is incentivized by leaderboards and what is useful in practice through the lens of microeconomic theory. We frame both the leaderboard and NLP practitioners as consumers and the benefit they get from a model as its utility to them. With this framing, we formalize how leaderboards -- in their current form -- can be poor proxies for the NLP community at large. For example, a highly inefficient model would provide less utility to practitioners but not to a leaderboard, since it is a cost that only the former must bear. To allow practitioners to better estimate a model's utility to them, we advocate for more transparency on leaderboards, such as the reporting of statistics that are of practical concern (e.g., model size, energy efficiency, and inference latency).

研究の動機と目的

• NLPリーダーボードがインcentivizeする内容と実務家が実際にモデルに価値を置く内容とのズレを特定すること。
• 現在のリーダーボード設計が、モデル効率性、公平性、耐性といった実用的懸念を反映していないことの分析。
• 性能のみに基づくランク付けから、モデル統計の透明性への移行を提案し、実務家のユーティリティ推定を改善すること。
• ユーザーが自身のユーティリティ関数に基づいてモデルを再ランク付けできるように、個人化されたモデル選択を可能にすること。
• 公平で持続可能なモデル採用を支援するため、リーダーボードがモデルサイズ、エネルギーコスト、レイテンシといった実用的指標の報告を義務付けるべきだと提言すること。

提案手法

• 実務家とリーダーボードを、異なるユーティリティ関数を持つ経済的消費者として定式化し、基数的ユーティリティ理論を用いて好みの比較を行う。
• 現在のリーダーボードの3つの主要な制限を形式化する：滑らかでないユーティリティ（ランクに基づく報酬）、予測コストの外部性（推論コストを無視）、耐性の考慮不足。
• モデルサイズ、エネルギー消費、推論レイテンシといった実用的指標の透明な報告をリーダーボードが義務付けるべきだと提言する。
• ユーザーが各指標（例：正確性、レイテンシ、サイズ）に重みを付けてモデルを再ランク付けできる、ユーザーカスタマイズ型リーダーボードの概念を導入する。
• 実際にモデルがどのように使われているかからユーティリティ関数を推定するための「露見された好みの理論」を提案するが、データ不足が課題であると認めている。
• しきい値（例：パラメータ数）を用いたフィルタリング機能の導入を提言し、リソースが限られたクリエイターや開発者にとってのアクセシビリティを高めること。

実験結果

リサーチクエスチョン

• RQ1 NLP実務家とリーダーボードの両者がモデル品質を評価する際のユーティリティ関数は、どのように乖離しているか？
• RQ2 実務において重要であるにもかかわらず、なぜ現在のNLPリーダーボードはエネルギー効率性、公平性、耐性をインcentivizeしないのか？
• RQ3 モデル統計の透明性が、実務家がモデルの実世界でのユーティリティを推定する能力をどの程度向上させ得るか？
• RQ4 動的でユーザー設定可能なリーダーボードは、静的で正確性のみに依存するランク付けに比べて、個別またはグループ特有の優先順位をどの程度適切に反映できるか？
• RQ5 露見された好みまたは表明された好みの手法は、多様なNLPユーザー層のユーティリティ関数を推定するために、どのような役割を果たせるか？

主な発見

• リーダーボードは、順位が変わらない限り正確性の向上をインcentivizeせず、これは滑らかでないユーティリティを生じるが、実務家は順位に影響されないにせよ、正確性の向上を常に価値としている。
• リーダーボードは推論コスト（例：モデルサイズ、エネルギー消費、レイテンシ）を無視しており、これらは実世界の展開において極めて重要であり、実用的ユーティリティを低下させる。
• 耐性や公平性の向上は、リーダーボードのランクに影響しないが、実際の運用環境では実務家にとってのユーティリティを顕著に向上させる。
• モデルサイズ、エネルギー消費、レイテンシといったモデル統計の透明な報告を義務付けることで、実務家はモデルのユーティリティをより正確に推定し、意思決定に適したトレードオフを取れるようになる。
• 正確性とレイテンシの重み付けを許容する動的でユーザーカスタマイズ可能なリーダーボードは、個人のモデル選択を可能にし、『一人ひとりのユーザーに最適なリーダーボード』を実現する。
• 最悪グループ性能などの指標の透明な報告は、クリエイターや開発者が公平性を向上させることをインcentivizeし、倫理的かつ実用的な目標に沿ったモデル開発を促進する。