[論文レビュー] Quantifying Reproducibility in NLP and ML

Anja Belz|arXiv (Cornell University)|Sep 2, 2021

Topic Modeling参考文献 20被引用数 7

ひとこと要約

本論文は、計測学の国際的用語集（VIM）の定義を応用することで、自然言語処理（NLP）および機械学習（ML）における再現性を標準化され、定量的に評価可能なフレームワークを提案する。'再現性'、'再現可能性'、および'変動係数（CV*）'といった用語を適用することで、研究間での結果の一貫性を測定可能かつ比較可能に可能にし、wF1スコアで3.8%のCV*は中程度のばらつきを示しており、一般科学用語がML/NLPに適用できないという仮定に疑問を呈する。

ABSTRACT

Reproducibility has become an intensely debated topic in NLP and ML over recent years, but no commonly accepted way of assessing reproducibility, let alone quantifying it, has so far emerged. The assumption has been that wider scientific reproducibility terminology and definitions are not applicable to NLP/ML, with the result that many different terms and definitions have been proposed, some diametrically opposed. In this paper, we test this assumption, by taking the standard terminology and definitions from metrology and applying them directly to NLP/ML. We find that we are able to straightforwardly derive a practical framework for assessing reproducibility which has the desirable property of yielding a quantified degree of reproducibility that is comparable across different reproduction studies.

研究の動機と目的

• NLPおよびMLにおける再現性の用語と定義についての合意形成の欠如に対処すること。
• 一般科学的再現性の定義がNLP/MLに適用できないという仮定に挑戦すること。
• 研究間での比較が可能な実用的で定量的な再現性評価フレームワークを開発すること。
• 指標ベースおよび人間評価ベースの結果における予想されるばらつきの基準を確立すること。
• 二値の'再現可能／再現不可能'判断ではなく、結果の類似度を定量的に評価することで、評価手法への信頼性を向上させること。

提案手法

• NLP/MLの文脈に適応させるために、'再現性'、'再現可能性'、および'測定量（measurand）'の国際的用語集（VIM）の定義を採用すること。
• 変動係数（CV*）を標準化された指標として採用し、繰り返し測定におけるばらつきを定量化する。CV* = (標準偏差 / 平均) × 100。
• 物理的測定（例：トルクの重量）とNLPの結果（例：重み付きF1スコア）の両方にフレームワークを適用し、その適用可能性を検証すること。
• 測定の'条件'（例：データ、コード、ハードウェア、ソフトウェア）を定義することで、再現性評価の標準化と再現性テストの実施を可能にすること。
• 人間評価を含めるために、人間の評価者を測定システムとして扱い、その固有のばらつきを考慮すること。
• CV*が、たとえ小規模なサンプルサイズ（例：人間評価ではn=2）であっても、信頼性があり比較可能なばらつきの測定に有効であることを確立すること。

実験結果

リサーチクエスチョン

• RQ1 計測学における標準的な科学用語および定義を、NLPおよびMLの再現性に意味的に適用可能か？
• RQ2 NLP/ML研究間で直接比較可能な形で再現性をどのように定量的に評価できるか？
• RQ3 NLP/MLにおける指標ベースおよび人間評価ベースの結果において、典型的なばらつき（CV*で測定）のレベルはどの程度か？
• RQ4 データ、コード、研究チームの違いといった条件が再現性評価にどのように影響するか？
• RQ5 VIMの定義に基づくフレームワークは、MLおよびNLPにおける再現性評価の信頼性と一貫性を向上させることができるか？

主な発見

• 再現性研究における重み付きF1スコアの変動係数（CV*）は3.8%であり、コードとデータを完全に共有しているにもかかわらず中程度のばらつきを示している。
• 最近の調査において、元のスコアと再現スコアのペアのうちわずか14%しか完全に一致しておらず、依然として残存するばらつきが顕著である。
• CV*は、人間評価（n=2）のような小規模なサンプルサイズに対しても、信頼性があり比較可能なばらつきの測定に有効である。
• 定義された条件下での再現性テストにより、ベースラインのばらつきを推定でき、これは意味のある再現性評価に不可欠である。
• このフレームワークにより、研究間での再現性の定量的かつ比較可能な評価が可能になり、二値の'再現可能／再現不可能'判断から脱却できる。
• 本研究は、計測学からの一般科学用語がNLPおよびMLに適用可能で有益であることを示しており、長年にわたり広く信じられてきた、別個の定義が必要であるという仮定に疑問を呈する。