[논문 리뷰] Perspectives on Machine Learning from Psychology's Reproducibility Crisis

Samuel J. Bell, Onno P. Kampman|arXiv (Cornell University)|2021. 04. 18.

Mental Health Research Topics인용 수 5

한 줄 요약

이 논문은 심리학의 재현성 위기와 기계학습 분야의 현재 과제 사이의 유사성을 그려내며, 사전 등록, 투명한 가설 검증, 추론적 재현성 같은 방법론적 개혁을 통해 연구의 엄밀함을 높이자고 주장한다. 연구의 신뢰성과 이론 발전을 강화하기 위해 심리학에서의 관행—예를 들어 재현 가능한 연구를 위한 배지와 복제 트랙—을 도입할 것을 제안한다.

ABSTRACT

In the early 2010s, a crisis of reproducibility rocked the field of psychology. Following a period of reflection, the field has responded with radical reform of its scientific practices. More recently, similar questions about the reproducibility of machine learning research have also come to the fore. In this short paper, we present select ideas from psychology's reformation, translating them into relevance for a machine learning audience.

연구 동기 및 목표

• 심리학의 재현성 위기에서 얻은 교훈을 분석함으로써 기계학습 분야의 재현성 문제에 대한 우려를 다루기.
• p-해킹과 HARKing 같은 잘못된 연구 관행이 심리학과 기계학습 양 분야에서 과학적 타당성을 약화시킨다는 점을 부각하기.
• 사전 등록, 공개된 코드/데이터, 재현성 배지와 같은 구체적 개혁을 제안하여 방법론적 및 추론적 재현성을 향상시키기.
• 기계학습 분야에서 더 강력한 이론적 프레임워크를 개발하기 위해 인지 이론과 메커니즘 이론을 기반으로 한 심리학 이론을 활용하기.
• 누적적인 과학적 진전을 지원하기 위해 복제 트랙과 투명성에 대한 인cent라이브를 포함한 문화적 전환을 촉진하기.

제안 방법

• 실험을 수행하기 전에 가설, 실험 설계, 분석 계획을 공식적으로 사전에 등록함으로써 HARKing과 p-해킹을 줄이기.
• 방법론적 재현성(코드 재실행)과 추론적 재현성(독립적 방법으로 결론 검증)을 구분하기.
• 학회 및 저널에서 재현성 배지를 도입하여 코드, 데이터, 분석 파이프라인의 공개를 장려하기.
• 기계학습 학회에서 원본 코드 없이도 핵심 결과의 탄탄함을 테스트할 수 있도록 전용 복제 트랙을 마련하기.
• 검증 가능하고 사전 정의된 초모수 탐색 공간을 가진 구조화된 가설 검증을 도입하여 연구자 자유도를 줄이기.
• 기초 원리 이해 없이도 인지심리학의 상향식 이론적 프레임워크를 기반으로 기계학습의 이론 발전을 이끌기.

실험 결과

연구 질문

• RQ1 기계학습 분야는 심리학의 개혁 조치를 어떻게 도입하여 연구의 재현성과 신뢰성을 높일 수 있는가?
• RQ2 사전 등록은 기계학습 실험에서 p-해킹과 HARKing을 줄이는 데 어떤 역할을 하는가?
• RQ3 원본 코드나 데이터에 접근하지 못하는 상황에서 기계학습에서 추론적 재현성은 어떻게 달성할 수 있는가?
• RQ4 재현성 배지 같은 인센티브는 기계학습에서 투명성과 데이터 공유를 어떻게 증진시킬 수 있는가?
• RQ5 인지 심리학 이론은 기계학습에서 강력하고 일반화 가능한 이론을 개발하는 데 어떻게 기여할 수 있는가?

주요 결과

• 사전 등록은 데이터 수집 이전에 연구자가 가설과 분석 계획을 확정함으로써 HARKing과 p-해킹의 위험을 크게 줄인다.
• 심리학 분야에서 재현성 배지를 통해 데이터 공개율이 3%에서 39%로 증가한 것으로 나타났으며, 이는 기계학습 분야에서도 유사한 인센티브가 투명성을 높일 수 있음을 시사한다.
• 코드 수준의 재현성 외에도 독립적 방법으로 결론을 검증하는 추론적 재현성은 일반화 가능한 발견을 확립하는 데 필수적이다.
• 원본 자료에 접근하지 못한 채 수행된 복제 연구—심리학의 Many Labs 프로젝트처럼—은 기계학습에서 주장의 탄탄함을 효과적으로 테스트할 수 있다.
• 기계학습 분야의 이론적 프레임워크는 일반적으로 검증 가능한 예측을 하지 못하며, 이는 심리학의 문제와 유사하며, 더 강력한 경험적 발견과의 통합이 필요하다.
• 복제 트랙과 투명성에 대한 인센티브를 포함한 문화적 전환은 기계학습 분야에서 누적적인 과학적 진전을 이루는 데 핵심적이다.