[논문 리뷰] Reproducibility of Machine Learning: Terminology, Recommendations and Open Issues

Riccardo Albertoni, Sara Colantonio외 2명|arXiv (Cornell University)|2023. 02. 24.

Explainable Artificial Intelligence (XAI)인용 수 9

한 줄 요약

AI/ML의 재현성에 대한 포괄적 고찰로 용어를 명확히 하고, 기존 지침을 수집하며, 생물의학 및 물리 AI 도메인을 포함한 신뢰할 수 있는 ML 향상을 위한 전문화된 권고를 제안한다.

ABSTRACT

Reproducibility is one of the core dimensions that concur to deliver Trustworthy Artificial Intelligence. Broadly speaking, reproducibility can be defined as the possibility to reproduce the same or a similar experiment or method, thereby obtaining the same or similar results as the original scientists. It is an essential ingredient of the scientific method and crucial for gaining trust in relevant claims. A reproducibility crisis has been recently acknowledged by scientists and this seems to affect even more Artificial Intelligence and Machine Learning, due to the complexity of the models at the core of their recent successes. Notwithstanding the recent debate on Artificial Intelligence reproducibility, its practical implementation is still insufficient, also because many technical issues are overlooked. In this survey, we critically review the current literature on the topic and highlight the open issues. Our contribution is three-fold. We propose a concise terminological review of the terms coming into play. We collect and systematize existing recommendations for achieving reproducibility, putting forth the means to comply with them. We identify key elements often overlooked in modern Machine Learning and provide novel recommendations for them. We further specialize these for two critical application domains, namely the biomedical and physical artificial intelligence fields.

연구 동기 및 목표

• ML/AI에서 재현성, 반복성, 재현(복제), 및 관련 개념에 대한 용어를 명확히 하고 하나로 unify.
• 일반적인 관점에서 도메인별 맥락까지 AI/ML에서 재현성을 달성하기 위한 기존 권고를 체계적으로 수집하고 정리한다.
• 현재 지침의 격차와 누락 요소를 식별하고 생물의학 및 물리 AI 맥락에서 딥러닝 및 ML에 대한 전문화된 권고를 제안한다.
• 연구자와 실무자가 재현 가능한 ML 실험을 구현하는 데 도움을 주기 위한 실용적이고 실행 가능한 지침을 제안하고 표로 요약한다.

제안 방법

• AI/ML 문헌 및 관련 분야에서 재현성 관련 용어와 지침에 대한 체계적 문헌 고찰을 수행한다.
• 워크플로우 구성요소, 팀, 재현성 연구의 이유와 같은 차원에 용어를 매핑하는 용어 다이어그램을 개발한다.
• 일반 권고를 세 개의 요약 표로 합성하고 생물의학 및 물리 AI 도메인에서 딥러닝 및 ML에 대한 확장을 논의한다.
• 두 가지 중요한 적용 도메인에 특히 초점을 맞춰 ML 재현성의 전문화 필요성과 격차를 비판적으로 분석한다.
• 문서화, 데이터, 코드, 실험 투명성을 향상시키기 위한 새로운 권고 및 실용적 고려사항을 제안한다.

실험 결과

연구 질문

• RQ1 ML/AI에서 재현성 관련 개념 간에 어떤 용어 구분이 있으며 그것을 어떻게 조화시킬 수 있는가?
• RQ2 AI/ML에서 재현성을 달성하기 위한 현재의 지침과 모범 사례는 무엇이며, 현대 ML, 특히 딥러닝에서 어떤 점이 부족한가?
• RQ3 생물의학 및 물리 AI 도메인에 적용될 때 재현성 권고의 어떤 격차가 있으며 어떻게 해결할 수 있는가?
• RQ4 연구자와 검토자를 위한 구체적 문서화 및 워크플로우 관행으로 권고안을 어떻게 구현할 수 있는가?

주요 결과

• 문헌 곳곳에 다양 정의를 가진 용어들(재현성, 재현가능성, 반복성, 견고성, 일반화 가능성)이 확산되어 있다.
• 데이터, 코드, 실험의 가용성에 따라 재현성의 정도(R1–R4 또는 브론즈/실버/골드 등)를 구분하는 기존 지침이 있지만 불일치가 남아 있다.
• 학회 및 저널의 지침은 깊이가 다양하며, 일부는 전체 환경 재현(컨테이너/가상 머신)을 요구하고, 다른 일부는 데이터와 코드 공유만을 강조한다.
• 동기, 데이터 출처, 모델 사용 및 성능 등을 문서화하기 위해 데이터 시트, 모델 카드, 팩트시트와 같은 도구와 관행이 제안되었다.
• 딥 네트워크, 하이퍼파라미터 튜닝, 하드웨어 종속성 등 ML 특유의 복잡성에 대한 재현성 가이드의 전문화에 격차가 있다.
• 본 논문은 생물의학 및 물리 AI 응용에 재현성 가이드를 맞춤화하기 위한 구조화된 권고와 새로운 요약 표를 제공한다.