[논문 리뷰] NIPS - Not Even Wrong? A Systematic Review of Empirically Complete Demonstrations of Algorithmic Effectiveness in the Machine Learning and Artificial Intelligence Literature

Franz J. Király, Bilal A. Mateen외 1명|arXiv (Cornell University)|2018. 12. 18.

Explainable Artificial Intelligence (XAI)참고 문헌 76인용 수 5

한 줄 요약

이 체계적 리뷰는 2017년 NeurIPS에서 발표된 121편의 지도학습 논문에서 알고리즘 성능 향상 주장의 경험적 엄밀성을 평가한다. 분석 결과, 최첨단 기준 모델 대비 우월성을 주장하기 위해 완전한 논증 체계를 제시한 논문은 121편 중 단 2편(1.6%)에 불과했으며, 이는 최고 수준의 머신러닝/인공지능 연구 분야에서 보고 기준과 경험적 검증이 광범위하게 부족하다는 것을 드러낸다.

ABSTRACT

Objective: To determine the completeness of argumentative steps necessary to conclude effectiveness of an algorithm in a sample of current ML/AI supervised learning literature. Data Sources: Papers published in the Neural Information Processing Systems (NeurIPS, née NIPS) journal where the official record showed a 2017 year of publication. Eligibility Criteria: Studies reporting a (semi-)supervised model, or pre-processing fused with (semi-)supervised models for tabular data. Study Appraisal: Three reviewers applied the assessment criteria to determine argumentative completeness. The criteria were split into three groups, including: experiments (e.g real and/or synthetic data), baselines (e.g uninformed and/or state-of-art) and quantitative comparison (e.g. performance quantifiers with confidence intervals and formal comparison of the algorithm against baselines). Results: Of the 121 eligible manuscripts (from the sample of 679 abstracts), 99\% used real-world data and 29\% used synthetic data. 91\% of manuscripts did not report an uninformed baseline and 55\% reported a state-of-art baseline. 32\% reported confidence intervals for performance but none provided references or exposition for how these were calculated. 3\% reported formal comparisons. Limitations: The use of one journal as the primary information source may not be representative of all ML/AI literature. However, the NeurIPS conference is recognised to be amongst the top tier concerning ML/AI studies, so it is reasonable to consider its corpus to be representative of high-quality research. Conclusion: Using the 2017 sample of the NeurIPS supervised learning corpus as an indicator for the quality and trustworthiness of current ML/AI research, it appears that complete argumentative chains in demonstrations of algorithmic effectiveness are rare.

연구 동기 및 목표

• 새로운 머신러닝/인공지능 알고리즘이 효과가 있다는 결론을 내리기 위해 필요한 논증 체계의 완전성을 평가하기 위해.
• 최고 수준의 머신러닝 학회에서 발표된 지도학습 논문들이 알고리즘 우월성 주장에 충분한 경험적 근거를 제공하고 있는지 평가하기 위해.
• 머신러닝/인공지능 연구에서 베이스라인, 성능 지표, 통계적 비교의 보고에 누락된 요소를 특정하기 위해.
• 현재 머신러닝/인공지능 연구 분야의 출판 및 심사 관행이 부족하거나 오해의 소지가 있는 성능 주장의 확산을 어떻게 조장하는지 분석하기 위해.
• 머신러닝/인공지능 연구의 신뢰성과 재현 가능성을 높이기 위해 보고 기준을 개선할 것을 촉구하기 위해.

제안 방법

• NeurIPS 2017의 679개 초록을 체계적으로 스크리닝하여 지도학습 연구에 해당하는 논문을 선별하였다.
• 표본 데이터에 대해 (반)지도학습 모델 또는 이를 융합한 전처리 기법을 보고한 121편의 논문을 선정하였다.
• 세 단계 평가 프레임워크를 적용: 실험(실제/가짜 데이터), 베이스라인(무지 기반/최첨단), 정량적 비교(신뢰구간과 공식적 검증을 포함한 성능 지표).
• 세 명의 독립 평가자가 정의된 기준에 따라 각 논문의 논증 완전성 여부를 평가하였다.
• 선별 및 전문 검토 과정에서 발생한 이견은 공감대 형성과 제3자 중재를 통해 해결하였다.
• 리뷰 후 통계 분석을 수행하여 전체 논문 코호르트 내 보고 부족 요소를 정량화하였다.

실험 결과

연구 질문

• RQ1 NeurIPS 2017의 지도학습 논문들이 알고리즘 성능 향상에 대한 완전한 경험적 논증을 얼마나 잘 제공하고 있는가?
• RQ2 최고 수준의 머신러닝 논문에서 무지 기반 베이스라인, 최첨단 베이스라인, 신뢰구간, 공식적 통계적 비교가 얼마나 자주 보고되고 있는가?
• RQ3 NeurIPS 2017 논문 코호르트에서 알고리즘 우월성에 대한 완전하고 검증 가능하며 과학적으로 타당한 논증을 제시한 논문의 비율은 얼마인가?
• RQ4 기존에 확립된 평가 기준이 존재하는데도 불구하고 대부분의 머신러닝/인공지능 논문이 완전한 논증 체계를 제공하지 못하는 이유는 무엇인가?
• RQ5 머신러닝/인공지능 연구에서 '아예 잘못된 주장' 수준의 주장이 널리 퍼지게 하는 시스템적 문제 요인은 무엇인가?

주요 결과

• 121편의 유효 논문 중에서 단 2편(1.6%)만이 새로운 알고리즘이 효과가 있다는 주장을 뒷받침하는 완전한 논증 체계를 제시하였다.
• 99%의 논문이 실제 세계 데이터를 사용하였고, 29%만이 가짜 데이터를 사용하여 실질적인 분해 분석 없이 실제 데이터 의존도가 높았다.
• 91%의 논문이 무지 기반 베이스라인을 보고하지 않았고, 55%는 최첨단 베이스라인을 보고하여 비교적 낮은 비교적 엄밀성 수준을 보였다.
• 성능 지표의 신뢰구간을 보고한 논문은 32%에 불과했고, 그 계산 방법에 대한 정당화나 참고 문헌도 전혀 제시하지 않았다.
• 논문의 3%만이 베이스라인 대비 성능 차이에 대한 공식적 통계적 비교를 수행하였다.
• 본 연구는 고성능 머신러닝/인공지능 연구 분야에서 알고리즘 성능 향상에 대한 완전한 경험적 논증이 극히 드물며, 대부분의 주장이 기초적 증거가 부족하여 '아예 잘못된 주장'에 가까운 것으로 결론 내렸다.