[논문 리뷰] Machine Learning State-of-the-Art with Uncertainties

Peter Steinbach, Felicita Gernhardt외 3명|arXiv (Cornell University)|2022. 04. 11.

Explainable Artificial Intelligence (XAI)인용 수 5

한 줄 요약

이 논문은 기계학습 연구에서 정확도 지표의 신뢰구간을 포함한 불확실성 간격 보고를 통해 모델 평가의 투명성, 재현성 및 엄밀함을 향상시키기 위해 주장한다. 교차검증과 부트스트래핑을 활용한 이미지 분류 실험을 통해, 불확실성을 고려할 경우 모델 간에 보고된 성능 차이가 통계적으로 유의미하지 않을 수 있음을 입증하며, 이는 이론적 최신 논문들이 이러한 핵심 요소를 간과한 결론을 내리는 데 도전한다.

ABSTRACT

With the availability of data, hardware, software ecosystem and relevant skill sets, the machine learning community is undergoing a rapid development with new architectures and approaches appearing at high frequency every year. In this article, we conduct an exemplary image classification study in order to demonstrate how confidence intervals around accuracy measurements can greatly enhance the communication of research results as well as impact the reviewing process. In addition, we explore the hallmarks and limitations of this approximation. We discuss the relevance of this approach reflecting on a spotlight publication of ICLR22. A reproducible workflow is made available as an open-source adjoint to this publication. Based on our discussion, we make suggestions for improving the authoring and reviewing process of machine learning articles.

연구 동기 및 목표

• 기본 벤치마크 결과에서 불확실성 측정의 부재로 인한 기계학습 모델 성능 보고의 통계적 엄밀함 부족 문제를 해결하기 위해.
• 정확도 지표에 대한 신뢰구간을 통해 모델 간 성능 차이가 통계적으로 의미 있는지 여부를 밝혀내는 데 목적이 있다.
• 불확실성 추정을 표준 기계학습 평가 및 동료 검토 워크플로우의 첫 번째 구성 요소로 통합할 것을 주장하기 위해.
• 버전 관리된 오픈소스 자동 워크플로우를 통해 불확실성 인식 평가를 촉진함으로써 재현성과 투명성을 향상시키기 위해.
• 저널과 컨ferences가 불확실성 보고를 제출 기준 또는 의무 조건으로 도입하도록 장려하기 위해.

제안 방법

• 저자들은 ImageNet-1k에서 파생된 ImageNette 데이터셋을 대상으로 20겹의 분层적 교차검증을 수행하여 여러 랜덤 시드를 통해 할당된 검증 데이터의 정확도를 계산한다.
• 정규 근사법을 적용하여 점추정치인 모델 정확도 주변의 일- 및 이-시그마 신뢰구간을 계산하며, 공식은 다음과 같다: $ \hat{\sigma} = z \sqrt{ \frac{1}{n_{\text{holdout}}} \cdot \text{ACC}_{\text{holdout}} \cdot (1 - \text{ACC}_{\text{holdout}}) } $.
• 이 방법은 ResNet, ResNeXt, 비전 트랜스포머의 세 가지 아키텍처에 대해 여러 랜덤 시드를 통해 성능의 변동성을 평가하기 위해 적용된다.
• 저자들은 데이터, 코드, 결과를 연결하는 완전히 재현 가능한 버전 관리 워크플로우를 구축하기 위해 Snakemake를 사용한다.
• 불확실성 간격이 포함된 결과와 포함되지 않은 결과를 비교하여, 겹치는 신뢰구간이 성능 향상 주장의 타당성을 떨어뜨리는지를 시각화를 통해 강조한다.
• 연구는 기존의 통계 도구인 맥널리의 검정을 활용해 공식적인 가설 검정을 수행하지만, 불확실성 근사법을 실용적이고 일시적인 해결책으로 위치시킨다.

실험 결과

연구 질문

• RQ1 불확실성 간격이 적절히 고려되었을 때, 최신 기계학습 모델 간에 보고된 성능 차이가 얼마나 유의미하게 유지되는가?
• RQ2 일반적인 기계학습 평가 환경에서 표준 통계 방법을 사용해 정확도의 불확실성을 어떻게 근사할 수 있는가?
• RQ3 불확실성 보고가 동료 검토 기반 기계학습 연구에서 모델 비교의 신뢰성과 해석에 어떤 영향을 미치는가?
• RQ4 불확실성 추정을 표준 기계학습 평가 파이프라인에 통합할 수 있는가? 이는 과도한 계산 비용 없이 가능할까?
• RQ5 왜 불확실성 추정은 일반적으로 기계학습 논문에서 간과되는가? 심사 과정은 이를 어떻게 개선할 수 있는가?

주요 결과

• ResNe(X)T 모델의 신뢰구간은 너무 좁고 상호 겹치므로, 보고된 성능 차이가 통계적으로 유의미하지 않다는 것이 입증된다. 이는 비록 그러한 차이가 존재한다고 보고되었지만.
• 비전 트랜스포머 모델은 더 낮은 정확도를 보이며, 이에 대한 신뢰구간이 최고 성능을 보인 ResNe(X)T 모델의 구간과 겹치지 않아 더 신뢰할 수 있는 성능 격차를 나타낸다.
• ICLR 2022의 스포트라이트 논문을 재분석한 결과, MSA(다중 헤드 자기주의) 모듈을 가진 모든 모델의 95% 신뢰구간이 MSA가 없는 기준 모델과 겹쳤으며, 이는 유의미한 향상 주장이 뒤집힌다는 것을 뜻한다.
• ICLR 2022 제출물에서 불확실성 부족에 대한 심사자 피드백가 없었기 때문에, 현재 동료 검토 과정이 모델 비교에서의 통계적 과신을 종종 감지하거나 다루지 못한다는 점이 드러났다.
• 연구는 표준 교차검증 설정 하에서 이항 정확도에 대한 정규 근사법이 타당함을 확인하였으며, 이는 불확실성 추정을 위한 신뢰할 수 있고 접근하기 쉬운 도구가 된다.
• 저자들은 현재 소프트웨어 스택을 활용해 불확실성 인식 평가가 실현 가능하다는 것을 입증하였으며, 이는 Snakemake와 공개 코드 리포지터리를 활용한 버전 관리 및 재현 가능한 워크플로우를 포함한다.