[논문 리뷰] Quantifying Overfitting: Introducing the Overfitting Index

Sanad Aburass|arXiv (Cornell University)|2023. 08. 16.

AI in cancer detection인용 수 7

한 줄 요약

이 논문은 다양한 아키텍처를 대상으로 훈련 손실과 검증 손실을 비교하여 모델의 과적합 경향을 정량적으로 측정하는 데 사용할 수 있는 새로운 지표인 과적합 지수(OI)를 소개한다. MobileNet, U-Net, ResNet, Darknet 및 ViT-32를 사용하여 BUS 및 MNIST에서 평가한 결과, OI는 아키텍처에 따라 달라지는 과적합 패턴을 드러내며, 특히 소규모 전문화된 데이터셋에서 데이터 증강이 과적합을 크게 감소시킨다는 점을 입증한다.

ABSTRACT

In the rapidly evolving domain of machine learning, ensuring model generalizability remains a quintessential challenge. Overfitting, where a model exhibits superior performance on training data but falters on unseen data, is a recurrent concern. This paper introduces the Overfitting Index (OI), a novel metric devised to quantitatively assess a model's tendency to overfit. Through extensive experiments on the Breast Ultrasound Images Dataset (BUS) and the MNIST dataset using architectures such as MobileNet, U-Net, ResNet, Darknet, and ViT-32, we illustrate the utility and discernment of the OI. Our results underscore the variable overfitting behaviors across architectures and highlight the mitigative impact of data augmentation, especially on smaller and more specialized datasets. The ViT-32's performance on MNIST further emphasizes the robustness of certain models and the dataset's comprehensive nature. By providing an objective lens to gauge overfitting, the OI offers a promising avenue to advance model optimization and ensure real-world efficacy.

연구 동기 및 목표

• 기계 학습, 특히 컴퓨터 비전 응용 분야에서 지속적인 문제로 남아 있는 모델 과적합 문제를 해결하기 위해.
• 다양한 신경망 아키텍처 간 과적합 경향을 측정하기 위한 표준화되고 정량적인 지표를 개발하기 위해.
• 소규모 및 전문화된 데이터셋에서 데이터 증강의 과적합에 대한 영향을 평가하기 위해.
• MNIST과 같은 비전통적 데이터셋에서 최신 아키텍처인 ViT-32의 일반화 행동을 평가하기 위해.
• 과적합 위험을 객관적으로 측정함으로써 모델 최적화 및 실세계 적용을 위한 실용적인 도구를 제공하기 위해.

제안 방법

• 과적합 지수(OI)는 훈련 손실 또는 정확도와 검증 손실 또는 정확도 간의 정규화된 차이로 계산되며, [0,1] 범위로 스케일링된다.
• OI는 각 에포크마다 계산되고, 훈련 런에 걸쳐 집계되어 전체 과적합 경향을 반영하는 단일 점수로 도출된다.
• 실험은 MobileNet, U-Net, ResNet, Darknet 및 ViT-32 다섯 가지 아키텍처를 사용하여 Breast Ultrasound Images(BUS) 및 MNIST 데이터셋에서 수행된다.
• 데이터 증강을 체계적으로 적용하고, 그로 인한 OI에 대한 영향을 측정하여 완화 잠재력을 평가한다.
• 일반성 확보를 위해 분류 및 세그멘테이션 작업 양쪽 모두에서 OI를 평가한다.
• 통계 분석을 통해 아키텍처 간 및 데이터 증강 전략 간 OI 값을 비교하여 추세를 파악한다.

실험 결과

연구 질문

• RQ1 과적합 지수(OI)는 다양한 딥러닝 아키텍처 간 과적합 경향을 어떻게 정량화하고 구분하는가?
• RQ2 특히 소규모 및 전문화된 데이터셋에서, 데이터 증강은 OI로 측정된 과적합을 어느 정도 감소시키는가?
• RQ3 ViT-32 아키텍처는 MNIST에서 과적합 측면에서 어떻게 성능을 보이며, 이는 트랜스포머의 일반화 능력에 대해 무엇을 시사하는가?
• RQ4 OI는 다양한 훈련 루틴 간 모델 일반화 성능을 비교하는 데 신뢰할 수 있는 객관적 지표로 기능할 수 있는가?
• RQ5 OI가 포착한 과적합 행동의 아키텍처적 및 데이터 의존적 패턴은 무엇인가?

주요 결과

• 과적합 지수(OI)는 아키텍처 간 과적합 경향을 성공적으로 정량화하고 구분하며, ViT-32가 전통적인 CNN보다 MNIST에서 더 낮은 과적합을 보임을 드러낸다.
• 모든 아키텍처에서 데이터 증강이 일관되게 OI를 감소시키며, 특히 더 작은 BUS 데이터셋에서 가장 뚜렷한 개선 효과를 보였다.
• U-Net과 ResNet은 BUS에서 높은 OI 값을 보이며, 특히 증강 없이 훈련했을 경우 과적합에 더 취약함을 시사한다.
• OI는 일반화 성능과 강한 상관관계를 보이며, 과적합 위험을 신뢰할 수 있는 대체 지표로 사용할 수 있음을 검증한다.
• MobileNet과 Darknet는 중간 정도의 OI 값을 보이며, 특히 증강이 적용된 경우 용량과 일반화 능력의 균형을 잘 유지하고 있음을 시사한다.
• OI는 동일한 데이터셋에서 훈련하더라도 아키텍처 선택이 과적합 행동에 상당한 영향을 미친다는 점을 부각시킨다.