[論文レビュー] REFORMS: Reporting Standards for Machine Learning Based Science

Sayash Kapoor, Emily M. Cantrell+17 more|arXiv (Cornell University)|Aug 15, 2023

Explainable Artificial Intelligence (XAI)被引用数 19

ひとこと要約

改革チェックリストを紹介する。32項目、 eight-module?

ABSTRACT

Machine learning (ML) methods are proliferating in scientific research. However, the adoption of these methods has been accompanied by failures of validity, reproducibility, and generalizability. These failures can hinder scientific progress, lead to false consensus around invalid claims, and undermine the credibility of ML-based science. ML methods are often applied and fail in similar ways across disciplines. Motivated by this observation, our goal is to provide clear reporting standards for ML-based science. Drawing from an extensive review of past literature, we present the REFORMS checklist ($ extbf{Re}$porting Standards $ extbf{For}$ $ extbf{M}$achine Learning Based $ extbf{S}$cience). It consists of 32 questions and a paired set of guidelines. REFORMS was developed based on a consensus of 19 researchers across computer science, data science, mathematics, social sciences, and biomedical sciences. REFORMS can serve as a resource for researchers when designing and implementing a study, for referees when reviewing papers, and for journals when enforcing standards for transparency and reproducibility.

研究の動機と目的

• MLベースの科学の分野を問わない報告基準のセットを確立し、一般的な誤りを防ぐ。
• MLの性能が科学的主張を支持する方法を、母集団、データ、および方法論の要件を定義することで明確化する。
• 計算再現性と独立検証を改善するための構造化された再利用可能なフレームワークを提供する。
• 標準を適用する際の研究者、査読者、ジャーナルを支援するために、各チェックリスト項目と対になるガイドラインを提供する。

提案手法

• 複数分野にわたる19名の研究者との合意プロセスを通じて改革チェックリストを作成した。
• MLベースの科学におけるベストプラクティスと一般的なエラーの文献レビューに基づく。
• MLベースの科学研究の段階に合わせて8モジュールに整理し、実施ガイドライン（付録B）を添付した。
• カバー範囲を知らせるためにML手法研究と健康予測の既存のチェックリストを利用しつつ、分野横断的に改革を行った。

実験結果

リサーチクエスチョン

• RQ1 分野を超えてMLベースの科学におけるエラーを減らすためにどのような報告基準が必要か？
• RQ2 標準化されたチェックリストは、MLベースの科学的主張の透明性、再現性、検証可能性をどのように向上させるか？
• RQ3 実務者とジャーナルが採用すべき主要なモジュールと報告期待は何か？
• RQ4 分野固有の規範と並行して改革を適用するには、すべての研究に対して一律に適用しない形でどうすべきか？

主な発見

• 8つのモジュールを備えた32項目の改革チェックリストを提案し、典型的なMLベースの科学の失敗に対処する。
• このチェックリストは科学的主張を確立し、適切な評価と不確実性の報告を保証し、独立検証を可能にすることを目的とする。
• ガイドラインは各項目に同梱され、報告の期待を明確にし、著者・査読者・ジャーナルの利用性を支援する。
• チェックリストは分野特有の要件を置換するものではなく、追加的な形で設計されており、分野横断的な透明性を促進する。