[논문 리뷰] Not quite unreasonable effectiveness of machine learning algorithms

Egor Illarionov, Roman Khudorozhkov|arXiv (Cornell University)|2018. 04. 07.

Anomaly Detection Techniques and Applications참고 문헌 3인용 수 3

한 줄 요약

이 논문은 MNIST 및 MIT-BIH 심房 fibrillation과 같은 벤치마크에서 최첨단 기계학습 성능이 낮은 데이터 변동성과 높은 패턴 유사성 덕분이지 모델 용량 때문이 아니라고 주장한다. 연구에서는 오직 5–10%의 훈련 데이터만으로도 거의 최적의 정확도를 달성할 수 있음을 보이며, 학습된 특징들이 환자를 식별할 수 있음을 보여주어 표준 평가 지표가 포착하지 못하는 숨겨진 구조를 드러낸다.

ABSTRACT

State-of-the-art machine learning algorithms demonstrate close to absolute performance in selected challenges. We provide arguments that the reason can be in low variability of the samples and high effectiveness in learning typical patterns. Due to this fact, standard performance metrics do not reveal model capacity and new metrics are required for the better understanding of state-of-the-art.

연구 동기 및 목표

• 표준 벤치마크인 MNIST 및 MIT-BIH 심전도에서 현대 기계학습 모델이 거의 완벽한 성능을 내는 이유를 조사하기 위해.
• 높은 정확도가 모델 용량을 반영한다는 가정에 도전하며, 대신 데이터 구조가 지배적인 역할을 한다고 주장하기 위해.
• 낮은 표본 변동성과 데이터 포인트 간 높은 패턴 유사성이 빠른 일반화를 가능하게 한다는 것을 보여주기 위해.
• 표준 평가 지표가 모델 용량을 드러내지 못하므로, 새로운 평가 프레임워크가 필요하다는 것을 보여주기 위해.
• 데이터 복잡성과 표현 학습의 깊이 있는 분석 없이, 높이 구조화된 데이터셋에서의 모델 성능은 오해의 소지가 있을 수 있다며 이를 제안하기 위해.

제안 방법

• 정확도 포화도를 측정하기 위해 훈련 세트 크기를 다양하게 조절한 MNIST에서 ResNet18, Inception v1, 완전 연결 신경망을 훈련시켰다.
• 모델 수렴의 조기 포화 지점을 탐지하기 위해 훈련 세트 비율을 로그 스케일링 적용했다.
• 환자 식별을 위해 ECG 세그먼트에서 특징 벡터를 추출하기 위해 훈련된 모델에 대해 글로벌 맥스 풀링을 적용했다.
• 테스트 세트 성능을 패턴 일관성의 Proxy로 사용하여, ECG 특징 벡터에 기반한 랜덤 포레스트 분류기를 훈련시켰다.
• 다양한 훈련 세트 비율에서 MIT-BIH 심방 fibrillation 데이터셋에서의 모델 성능을 매크로 F1-스코어로 평가했다.
• 100개의 랜덤 훈련 세트 서브셋에서 정확도 분포를 측정함으로써 모델 변동성과 일반화 능력을 분석했다.

실험 결과

연구 질문

• RQ1 최첨단 모델이 MNIST 및 MIT-BIH 심방 fibrillation과 같은 데이터셋에서 거의 100% 정확도를 달성하는 이유는 무엇인가?
• RQ2 높은 성능가 낮은 데이터 패턴 변동성 때문인가, 아니면 모델 용량 때문인가?
• RQ3 데이터에 제한된 수의 주요 패턴이 존재함으로써 모델 일반화가 설명될 수 있는가?
• RQ4 딥 러닝 모델에서 학습된 표현을 활용해 환자 신원과 같은 고차원 데이터 구조를 재구성할 수 있는가?
• RQ5 왜 표준 평가 지표가 현대 기계학습 모델의 진정한 용량을 드러내지 못하는가?

주요 결과

• MNIST 데이터셋에서 ResNet18은 훈련 데이터의 7%만(4.2K개 샘플)으로도 97% 이상의 테스트 정확도를 달성하며, 10%에서 99%의 정확도를 기록한다.
• Inception v1 모델의 경우, 100개의 랜덤 10% 훈련 서브셋 전부에서 97% 이상의 정확도를 달성하여 데이터 샘플링에 대한 강건성을 보였다.
• MIT-BIH 심방 fibrillation 데이터셋에서 F1-스코어는 훈련 데이터의 25%에서 포화 상태에 도달하며, 테스트 세트에서 0.988의 F1-스코어를 기록한다.
• ECG 모델의 글로벌 맥스 풀링 특징에 기반한 랜덤 포레스트 분류기는 원본 환자 식별에서 95%의 정확도를 달성한다.
• ECG 특징 벡터에서 환자 식별이 가능한 것은 데이터 패턴이 매우 일관적이고 환자별로 특화되어 있음을 확인하며, 낮은 변동성 가설을 지지한다.
• 결과적으로, 정확도나 F1-스코어와 같은 표준 지표는 낮은 변동성 데이터셋에서 모델 용량을 충분히 반영하지 못함을 시사한다.