[論文レビュー] Missing Information, Unresponsive Authors, Experimental Flaws: The Impossibility of Assessing the Reproducibility of Previous Human Evaluations in NLP

Anja Belz, Craig Thomson+40 more|arXiv (Cornell University)|May 2, 2023

Topic Modeling被引用数 4

ひとこと要約

この論文は自然言語処理（NLP）における人間評価の再現可能性を調査し、13%の研究のみが再現に十分な情報と低い障壁を提供していることを発見した。広範な欠落データ、非応答性のある著者、実験的欠陥のため、著者たちは直接再現を放棄し、今後の人体評価研究における信頼性と一貫性を向上させるために「標準化してから2度再現する」アプローチを提案した。

ABSTRACT

We report our efforts in identifying a set of previous human evaluations in NLP that would be suitable for a coordinated study examining what makes human evaluations in NLP more/less reproducible. We present our results and findings, which include that just 13\% of papers had (i) sufficiently low barriers to reproduction, and (ii) enough obtainable information, to be considered for reproduction, and that all but one of the experiments we selected for reproduction was discovered to have flaws that made the meaningfulness of conducting a reproduction questionable. As a result, we had to change our coordinated study design from a reproduce approach to a standardise-then-reproduce-twice approach. Our overall (negative) finding that the great majority of human evaluations in NLP is not repeatable and/or not reproducible and/or too flawed to justify reproduction, paints a dire picture, but presents an opportunity for a rethink about how to design and report human evaluations in NLP.

研究の動機と目的

• 協働再現に適した研究を特定することで、NLPにおける過去の人間評価の再現可能性を評価すること。
• 欠落情報、非応答性のある著者、実験的欠陥が、NLPの人間評価の再現可能性をどの程度妨げているかを調査すること。
• NLPにおける既存の人間評価研究が、元の条件下で意味的に再現可能かどうかを評価すること。
• 多くの過去の評価が根本的な欠陥と不完全な報告のため再現不能であることが判明したため、研究アプローチを再設計すること。
• 将来的な再現可能性研究を可能にするために、人間評価設計における文書化基準の向上と標準化を提唱すること。

提案手法

• NLPの人間評価の再現性に影響する要因を体系的に評価するため、マルチラボ・マルチテスト（MLMT）研究設計を実施した。
• キーワード検索と「人間評価」と「参加者」を含むフィルタリングを用いて、177件のNLP論文を選定した。
• 参加者タイプ、参加者数、指示、評価スケール、出力セットに関する情報を抽出するため、論文レベルおよび実験レベルの詳細なアノテーションを実施した。
• 実験設定やトレーニング手順に関する不明瞭な点を解消するため、著者と複数回の連絡をとった。
• 一貫性のない評価スケール、曖昧な指示、アイテム提示におけるランダマイゼーションの欠如といった実験的欠陥を特定・文書化した。
• 再現不能な事態が顕著であったため、元の研究の直接的再現を放棄し、方法論の一貫性を保証するため「標準化してから2度再現する」アプローチを採用した。

実験結果

リサーチクエスチョン

• RQ1 NLPにおける過去の人間評価のうち、再現に十分な情報と低い障壁を備えている割合はどの程度か？
• RQ2 欠落情報、非応答性のある著者、実験的欠陥が、NLPの人間評価の再現可能性をどの程度妨げているか？
• RQ3 実験的欠陥は、人間評価研究の再現を試みることの意味にどのような影響を与えるか？
• RQ4 直接的人間評価の再現が不可能な場合に、どのような代替的手法的アプローチが利用可能か？
• RQ5 将来的なNLPの人間評価の再現可能性を向上させるために、報告基準と実験設計にどのような変更が必要か？

主な発見

• 評価対象となった177件のNLP論文のうち、再現に適した十分な情報と低い障壁を備えたのはわずか13%であった。
• 再現に選定された実験のうち、1つを除きすべてに再現の意味に疑問を呈する欠陥が存在した。
• 参加者数、参加者タイプ、トレーニング指示、評価セットに関する根本的詳細が欠落または不明瞭だった論文は、それぞれ37件、59件、15件にのぼった。
• 著者との広範な連絡にもかかわらず、複数の事例で重要な実験的詳細が入手不可能 remained した。特に、ネイティブスピーカーを必要としていたか、出力がどのようにランダマイズされたかが不明であった。
• 再現不能で欠陥を含む評価が広範に存在したため、研究は元の直接再現設計を放棄せざるを得なかった。
• 著者たちは、現在のNLPの人間評価報告のあり方は、信頼できる再現可能性を確保するには不十分であり、再現の前提となる標準化された、事前処理済みの評価設計への移行が不可欠であると結論づけた。