[논문 리뷰] The Scientific Method in the Science of Machine Learning

Jessica Zosa Forde, Michela Paganini|arXiv (Cornell University)|2019. 04. 24.

Machine Learning and Data Classification참고 문헌 56인용 수 26

한 줄 요약

이 논문은 과학적 방법—특히 가설 수립, 통계적 검증, 불확실성 추정—을 기계학습 연구에 통합하여 엄밀함, 재현 가능성, 해석 가능성의 향상을 주장한다. 실험적 분석에만 의존하는 것이 아니라, 실제로 검증 가능하고 과학적으로 탄탄한 주장이 되기 위해 물리학에서 비롯한 관행, 예를 들어 부수적 변수 제어 및 사전 등록된 가설 도입을 제안한다.

ABSTRACT

In the quest to align deep learning with the sciences to address calls for rigor, safety, and interpretability in machine learning systems, this contribution identifies key missing pieces: the stages of hypothesis formulation and testing, as well as statistical and systematic uncertainty estimation -- core tenets of the scientific method. This position paper discusses the ways in which contemporary science is conducted in other domains and identifies potentially useful practices. We present a case study from physics and describe how this field has promoted rigor through specific methodological practices, and provide recommendations on how machine learning researchers can adopt these practices into the research ecosystem. We argue that both domain-driven experiments and application-agnostic questions of the inner workings of fundamental building blocks of machine learning models ought to be examined with the tools of the scientific method, to ensure we not only understand effect, but also begin to understand cause, which is the raison d'être of science.

연구 동기 및 목표

• 기계학습 연구에서 과학적 엄밀함의 부족, 특히 명시적 가설 수립과 통계적 검증의 부재를 해결하기 위해.
• 기계학습에서의 탐색적 '서치 앤 레이어' 방식에 대한 의존도를 줄이고, 체계적이고 반증 가능한 실험을 장려하기 위해.
• 통계적 및 체계적 불확실성의 고려를 통해 기계학습 결과의 강건성과 장기적 타당성을 향상시키기 위해.
• 특히 물리학을 포함한 전통적인 과학 분야에서 비롯한 방법론 기준을 기계학습 공동체가 수용하도록 장려하기 위해.
• 사전 등록된 연구와 부정적 결과의 개방적 평가를 통해 더 원칙에 기반한, 검증 가능한 연구 문화 조성 지원을 위해.

제안 방법

• 실험 이전에 명시적인 가설 수립을 제안하며, 가설에서 도출된 검증 가능한 예측을 포함한다.
• 실험 결과의 불확실성을 추정하기 위해 통계적 방법의 사용을 강조하며, 결과를 랜덤 변수로 간주한다.
• 최적화기, 초기화, 하이퍼파라미터와 같은 부수적 변수—성능 비교에서 혼동을 일으킬 수 있는 요소—의 개념을 도입한다.
• 체계적 불확실성을 모델링하고 제어하여, 관심 있는 매개변수(예: 새로운 활성화 함수로 인한 성능 향상)에 대한 민감도를 확보한다.
• 물리학에서 영감을 얻은 펌베이션 방식을 채택하여, 복잡한 상호작용(예: 배치정규화의 깊이와 너비에 따른 영향)을 분석하기 전에 1차 효과부터 다룬다.
• 학회에서 사전에 가설을 검토하고 수락하는 등록 보고서 모델을 제안하여, 결과와 관계없이 방법론적 타당성을 확보한다.

실험 결과

연구 질문

• RQ1 가설 검증과 불확실성 정량화를 통합함으로써 기계학습 연구를 과학적으로 더 엄밀하게 만들 수 있는 방법은 무엇인가?
• RQ2 물리학과 같은 확립된 과학 분야와 비교했을 때 현재 기계학습 연구의 핵심 방법론적 격차는 무엇인가?
• RQ3 실험 설계에서의 부수적 변수가 보고된 성능 향상의 통계적 민감도를 어느 정도 약화시키는가?
• RQ4 사전에 등록된 가설 검증이 기계학습 연구 결과의 신뢰성과 재현 가능성 향상에 기여할 수 있는가?
• RQ5 탐색적 실험에서 가설 기반 실험으로의 전환은 모델 행동과 인과관계 이해를 어떻게 향상시킬 수 있는가?

주요 결과

• 현재 많은 기계학습 논문에서 명시적 가설과 통계적 검증이 부재하여, 주장된 향상에 대해 통계적으로 민감하지 않을 수 있는 결과가 도출된다.
• 상당한 비율의 최첨단 성능 주장이 하이퍼파라미터와 실험 설정에서 기인한 통제되지 않은 체계적 불확실성으로 인해 성능 향상에 대해 통계적으로 민감하지 않을 수 있다.
• 체계적 불확실성 추정이 부재하기 때문에, 관측된 데이터와 일치하는 성능 향상 범위는 0을 포함한 광범위한 수준이 될 수 있다.
• 물리학과 임상 시험에서 사용되는 사전 등록된 가설 검증의 도입은 과학적 정당성 향상과 출판 편향 감소에 기여할 수 있다.
• 펌베이션 스타일 분석—복잡한 상호작용을 분석하기 전에 1차 효과부터 연구하는 방식—을 적용하면 모델 구성 요소에 대한 더 체계적인 이해가 가능해진다.
• 메서드론 개선을 이끄는 데 도움이 되기 위해 과학자, 과학 철학자, 역사학자들을 포함한 워크숍과 학회가 필요하다.