[논문 리뷰] Robustness investigation of cross-validation based quality measures for model assessment

Thomas Most, Lars Gräning외 1명|arXiv (Cornell University)|2024. 08. 08.

Fault Detection and Control Systems인용 수 4

한 줄 요약

이 논문은 기계학습 모델 예측 성능 평가를 위한 교차검증 기반 품질 측정법의 정확성과 내성에 대해 조사한다. 특히 예측 계수(CoP)에 초점을 맞추며, 잔차 부스팅을 통한 신뢰구간 도출 및 국소 오차 추정법을 제안한다. k-폴드 교차검증이 떨어진 학습 데이터를 가진 경우 유사한 예측 성능 평가에 비해 더 신뢰할 수 있는 CoP 추정치를 제공함을 입증한다.

ABSTRACT

In this paper the accuracy and robustness of quality measures for the assessment of machine learning models are investigated. The prediction quality of a machine learning model is evaluated model-independent based on a cross-validation approach, where the approximation error is estimated for unknown data. The presented measures quantify the amount of explained variation in the model prediction. The reliability of these measures is assessed by means of several numerical examples, where an additional data set for the verification of the estimated prediction error is available. Furthermore, the confidence bounds of the presented quality measures are estimated and local quality measures are derived from the prediction residuals obtained by the cross-validation approach.

연구 동기 및 목표

• 기계학습 모델 예측 정확도 평가를 위한 교차검증 기반 품질 측정법의 신뢰성과 내성 평가.
• 알 수 없는 데이터 예측을 위한 모델 독립적 지표로서 예측 계수(CoP)의 성능 평가.
• 추가 모델 훈련 없이 잔차 부스팅을 통해 CoP의 통계적 신뢰구간 추정.
• 모델 적합도가 떨어지는 영역을 식별하기 위한 국소 품질 측정법(국소 RMSE 및 국소 CoP) 개발.
• 안정성과 보수성 측면에서 k-폴드와 떨어진 학습 데이터를 사용한 교차검증 전략 간 비교.

제안 방법

• 예측 오차 추정 및 설명된 변동의 모델 독립적 측정법으로서 교차검증 기반 예측 계수(CoP) 계산을 위한 k-폴드 교차검증을 적용.
• 모델 재학습 없이 교차검증 잔차에 직접 부스팅을 적용하여 CoP의 신뢰구간을 도출.
• 각 데이터 포인트별로 교차검증 잔차를 사용해 국소 오차 지표(국소 RMSE 및 국소 CoP)를 계산하여 국소적 모델 품질 평가 수행.
• 다양한 학습 데이터 크기에서 검증 데이터가 알려진 수치적 예제를 사용해 CoP 추정치 및 신뢰구간의 타당성 검증.
• 특히 작은 데이터셋에서의 안정성과 보수성 측면에서 k-폴드와 떨어진 학습 데이터를 사용한 교차검증 전략 간 CoP 추정치 비교.
• 실세계 자율주행 차량 시뮬레이션(컷인 시나리오)에서의 접근법 검증 — 입력 10개, 출력 4개, 최대 1866개의 학습 포인트 사용.

실험 결과

연구 질문

• RQ1 다양한 교차검증 절차를 통해 추정된 예측 계수(CoP)는 얼마나 내성적이고 정확한가?
• RQ2 추가 모델 훈련 없이 교차검증 잔차에서 부스팅 기반의 CoP에 대한 신뢰구간을 신뢰성 있게 추정할 수 있는가?
• RQ3 제한된 학습 데이터에서 k-폴드와 떨어진 학습 데이터를 사용한 교차검증은 CoP 추정치의 안정성과 보수성 측면에서 어떻게 비교되는가?
• RQ4 국소 품질 측정법(국소 RMSE 및 국소 CoP)이 낮은 모델 성능 영역을 얼마나 잘 식별하는가?
• RQ5 추정된 CoP 값은 독립적인 검증 데이터에서 실제 예측 성능과 얼마나 잘 상관되는가?

주요 결과

• 특히 작은 학습 데이터셋에서 k-폴드 교차검증은 떨어진 학습 데이터보다 더 보수적이고 안정적인 CoP 추정치를 제공한다.
• 부스팅을 통해 유도된 CoP의 신뢰구간은 검증 데이터의 진짜 예측 오차와 매우 유사하게 나타나, 그 신뢰성 검증됨.
• 컷인 시나리오에서 학습 포인트 수가 280개일 때 CoP는 66.6%에서 1866개일 때 82.4%로 증가했으며, 검증용 CoD 값은 추정된 CoP와 밀접하게 일치함.
• 국소 CoP 및 RMSE 지표는 더 높은 예측 오차를 가진 영역을 성공적으로 식별하여 추가 샘플링을 통한 모델 개선이 가능함.
• 1866개의 학습 포인트가 있음에도 불구하고 모델은 시간 간격 행동을 완벽하게 반영하지 못했지만, 추정된 CoP는 여전히 예측 품질의 신뢰할 수 있는 지표로 유지됨.
• 잔차 부스팅 방법을 통해 재학습 없이도 정확한 신뢰구간을 도출할 수 있어, 모델 평가 파이프라인에 실용적으로 적용 가능함.