[논문 리뷰] Reproducibility in Machine Learning-Driven Research

Harald Semmelrock, Simone Kopeinik외 3명|arXiv (Cornell University)|2023. 07. 19.

Scientific Computing and Data Management인용 수 7

한 줄 요약

이 소규모 종합 검토는 기계학습(ML) 기반 연구에서의 재현 가능성 도전 과제를 조사하며, 게재되지 않은 코드, 데이터 泄露, 학습 조건에 대한 민감성 등의 핵심 장애물을 밝혀내었다. 코드 공유, 모델 정보 시트, 체크리스트, 인식 캠페인, 저널 정책 등의 추진 요인을 평가한 결과, LLM(예: GPT-4)가 체크리스트를 86.6%의 정확도로 검증할 수 있으며, 체계적인 관행이 재현 가능성의 실현 가능성을 크게 향상시킨다.

ABSTRACT

Research is facing a reproducibility crisis, in which the results and findings of many studies are difficult or even impossible to reproduce. This is also the case in machine learning (ML) and artificial intelligence (AI) research. Often, this is the case due to unpublished data and/or source-code, and due to sensitivity to ML training conditions. Although different solutions to address this issue are discussed in the research community such as using ML platforms, the level of reproducibility in ML-driven research is not increasing substantially. Therefore, in this mini survey, we review the literature on reproducibility in ML-driven research with three main aims: (i) reflect on the current situation of ML reproducibility in various research fields, (ii) identify reproducibility issues and barriers that exist in these research fields applying ML, and (iii) identify potential drivers such as tools, practices, and interventions that support ML reproducibility. With this, we hope to contribute to decisions on the viability of different solutions for supporting ML reproducibility.

연구 동기 및 목표

• 다양한 연구 분야에서 기계학습의 재현 가능성 현황을 평가하기 위해.
• 재현 가능성을 저해하는 체계적 장애물—예: 게재되지 않은 코드, 데이터 泄露, 하이퍼파라미터 민감성—을 특정하기 위해.
• 체크리스트, 모델 정보 시트, 인식 캠페인, 저널 정책 등 재현 가능성을 지원하는 기존 추진 요인을 평가하기 위해.
• 최근 등장한 도구인 LLM이 체크리스트 준수 여부를 높은 정확도로 검증하는 데 어떻게 기여할 수 있는지 분석하기 위해.
• 기계학습 연구에서 다양한 재현 가능성 솔루션의 실현 가능성을 평가하기 위한 기초를 마련하기 위해.

제안 방법

• 기계학습 기반 연구의 재현 가능성에 중점을 두고 체계적인 문헌 고찰을 수행하며, 장애물과 추진 요인을 분석하였다.
• 재현 가능성을 세 단계로 분류: R1(정확한 실험 재현 가능성), R2(데이터 재현 가능성), R3(방법 재현 가능성).
• 체크리스트, 모델 정보 시트, 인식 캠페인(예: ReproducedPapers.org, 재현 가능성 챌린지) 등의 도구를 평가하였다.
• 특히 GPT-4를 포함한 대규모 언어 모델(LLM)이 체크리스트 준수 여부를 고정확도(86.6%)로 검증하는 방식을 평가하였다.
• 연구 신뢰도 향상을 위해 코드/데이터 공개 의무화 및 사전 등록을 포함한 저널 수준의 개입을 분석하였다.
• 사전 등록과 전용 재현 가능성 논문 게재를 통해 재현 가능성을 지원하는 ACM TORS 저널과 같은 사례 연구를 분석하였다.

Figure 1 : Degrees of reproducibility . Adapted from [ 20 ]

실험 결과

연구 질문

• RQ1 다양한 과학 분야에서 기계학습 연구의 현재 재현 가능성 수준과 단계는 어떠한가?
• RQ2 기계학습의 재현 가능성을 저해하는 주요 장애물—예: 코드 및 데이터 미공개, 구현 방식 민감성—은 무엇인가?
• RQ3 체크리스트, 모델 정보 시트, 인식 캠페인과 같은 제안된 추진 요소들이 기계학습의 재현 가능성 향상에 얼마나 효과적인가?
• RQ4 GPT-4와 같은 LLM이 재현 가능성 체크리스트 준수 여부를 얼마나 정확하게 검증할 수 있는가?
• RQ5 저널과 컫페는 사전 등록, 의무적 코드/데이터 공개 등의 정책을 어떻게 시행하여 기계학습 연구의 재현 가능성을 향상시킬 수 있는가?

주요 결과

• 기계학습 분야의 재현 가능성 위기는 광범위하게 퍼져 있으며, 게재되지 않은 코드와 학습 조건에 대한 민감성은 결과 재현을 저해하는 주요 장애물이다.
• R1(실험 재현 가능성)은 동일한 조건에서 정확한 출력 일致를 보장하지만, R3(방법 재현 가능성)는 다양한 구현 방식과 데이터에 걸쳐 일반화를 가능하게 한다.
• 모델 정보 시트는 데이터 분할 및 전처리 방법을 기록하도록 요구함으로써 데이터 泄露 위험을 크게 줄이며, 비전문가 기계학습 연구자에게 특히 유용하다.
• GPT-4와 같은 LLM은 체크리스트 준수 여부를 86.6%의 정확도로 검증하여 자동화된 재현 가능성 검증을 위한 확장 가능한 솔루션을 제공한다.
• ReproducedPapers.org와 같은 레포지터리 및 재현 가능성 챌린지와 같은 인식 캠페인은 투명성 향상과 재현 가능성 교육에 효과적이다.
• ACM TORS와 같은 저널은 사전 등록 및 전용 재현 가능성 연구 논문 게재를 통해 재현 가능성을 진전시키며 연구의 신뢰도를 향상시키고 있다.