[논문 리뷰] REFORMS: Reporting Standards for Machine Learning Based Science

Sayash Kapoor, Emily M. Cantrell외 17명|arXiv (Cornell University)|2023. 08. 15.

Explainable Artificial Intelligence (XAI)인용 수 19

한 줄 요약

개정 체크리스트를 소개합니다. 이는 ML 기반 과학의 타당성, 재현성, 일반화 가능성을 향상시키기 위한 지침이 포함된 32개 항목의 여덟 모듈 구성 보고 표준입니다.

ABSTRACT

Machine learning (ML) methods are proliferating in scientific research. However, the adoption of these methods has been accompanied by failures of validity, reproducibility, and generalizability. These failures can hinder scientific progress, lead to false consensus around invalid claims, and undermine the credibility of ML-based science. ML methods are often applied and fail in similar ways across disciplines. Motivated by this observation, our goal is to provide clear reporting standards for ML-based science. Drawing from an extensive review of past literature, we present the REFORMS checklist ($ extbf{Re}$porting Standards $ extbf{For}$ $ extbf{M}$achine Learning Based $ extbf{S}$cience). It consists of 32 questions and a paired set of guidelines. REFORMS was developed based on a consensus of 19 researchers across computer science, data science, mathematics, social sciences, and biomedical sciences. REFORMS can serve as a resource for researchers when designing and implementing a study, for referees when reviewing papers, and for journals when enforcing standards for transparency and reproducibility.

연구 동기 및 목표

• ML 기반 과학에 대한 일반적 오류를 예방하기 위해 분야에 구애받지 않는 보고 표준 세트를 수립합니다.
• 집단(population), 데이터, 방법론적 요건을 정의하여 ML 성능이 과학적 주장에 어떻게 뒷받침되는지 명확히 합니다.
• 계산 재현성과 독립적인 검증을 향상시키기 위한 구조화되고 재사용 가능한 프레임워크를 제공합니다.
• 연구자, 심사자 및 저널이 표준을 적용하는 데 도움을 주기 위해 각 체크리스트 항목에 가이드라인을 함께 제공합니다.

제안 방법

• 여러 학문 영역의 19명의 연구자들과 합의 과정을 거쳐 개정 체크리스트를 개발했습니다.
• ML 기반 과학의 모범 사례와 일반적인 오류에 대한 문헌 고찰에 체크리스트를 근거로 삼았습니다.
• ML 기반 과학 연구의 단계에 맞춘 여덟 개 모듈로 체크리스트를 구성하고, 동반 구현 가이드라인(Appendix B)을 제공합니다.
• ML 방법 연구 및 건강 예측 분야의 기존 체크리스트를 활용해 범위를 정하고 개정안을 분야에 구애받지 않도록 했습니다.

실험 결과

연구 질문

• RQ1 학제 간 ML 기반 과학에서 오류를 줄이기 위해 필요한 보고 표준은 무엇인가요?
• RQ2 표준화된 체크리스트가 ML 기반 과학적 주장에 대한 투명성, 재현성 및 검증 가능성을 어떻게 향상시킬 수 있나요?
• RQ3 실무자와 저널이 채택해야 하는 핵심 모듈과 보고 기대사항은 무엇인가요?
• RQ4 개별 연구마다 지시하는 것이 아니라, 분야별 규범과 함께 개정안을 어떻게 적용해야 하나요?

주요 결과

• 일반적인 ML 기반 과학 실패를 다루기 위해 32개 항목의 개정 체크리스트(여덟 모듈)가 제안됩니다.
• 체크리스트의 목표는 과학적 주장을 확립하고, 적절한 평가 및 불확실성 보고를 보장하며, 독립적인 검증을 가능하게 하는 것입니다.
• 각 항목에 보고 기대를 명확히 하고 저자, 심판자 및 저널의 활용성을 돕기 위한 가이드라인이 함께 수록되어 있습니다.
• 체크리스트는 분야별 요구사항의 보완으로 설계되었으며, 교차학문 간 투명성을 촉진합니다.