[논문 리뷰] Computing AIC for black-box models using Generalised Degrees of Freedom: a comparison with cross-validation

Severin Hauenstein, Carsten F. Dormann외 1명|arXiv (Cornell University)|2016. 03. 09.

Explainable Artificial Intelligence (XAI)참고 문헌 26인용 수 3

한 줄 요약

이 논문은 일반화 자유도(GDF)를 사용하여 블랙박스 기계학습 모델의 AIC를 계산하는 것을 조사한다. 특히 베르누이 분포 자료에 대해 적용한다. GDF는 모델 복잡도에 대한 이론적으로 타당한 측정법을 제공하지만, 본 연구는 GDF가 계산적으로 비효율적이고 불안정하며, 이진 자료의 변동에 대해 일관되지 않은 민감도를 보여, 반복 10등분 교차검증이 이러한 맥락에서 모델 복잡도 추정에 더 견고하고 효율적이며 실용적임을 결론내린다.

ABSTRACT

Generalised Degrees of Freedom (GDF), as defined by Ye (1998 JASA 93:120-131), represent the sensitivity of model fits to perturbations of the data. As such they can be computed for any statistical model, making it possible, in principle, to derive the number of parameters in machine-learning approaches. Defined originally for normally distributed data only, we here investigate the potential of this approach for Bernoulli-data. GDF-values for models of simulated and real data are compared to model complexity-estimates from cross-validation. Similarly, we computed GDF-based AICc for randomForest, neural networks and boosted regression trees and demonstrated its similarity to cross-validation. GDF-estimates for binary data were unstable and inconsistently sensitive to the number of data points perturbed simultaneously, while at the same time being extremely computer-intensive in their calculation. Repeated 10-fold cross-validation was more robust, based on fewer assumptions and faster to compute. Our findings suggest that the GDF-approach does not readily transfer to Bernoulli data and a wider range of regression approaches.

연구 동기 및 목표

• 일반화 자유도(GDF)를 모델 복잡도의 대체 측정법으로 사용하여, 최대우도 기반 외 기계학습 모델에 AIC를 확장하는 것.
• 베르누이 분포 자료에 대해 GDF 기반 AIC의 안정성, 정확도 및 계산 가능성 여부를 교차검증과 비교하여 평가하는 것.
• GDF가 블랙박스 모델에서 모델 선택 및 평균화에 있어 교차검증의 실용적 대안이 될 수 있는지 판단하는 것.
• 랜덤 포레스트, 신경망, 부스팅된 회귀 트리 등 다양한 모델에서 GDF의 실용성 평가.
• GDF 기반 AIC와 교차검증을 통한 잔차 및 모델 복잡도 추정치를 견고성과 계산 비용 측면에서 비교하는 것.

제안 방법

• 개별 데이터 포인트의 변동을 통해 적합된 예측값의 민감도를 추정하여 GDF를 계산하는 방식으로, 공식 GDF = trace(H) = Σ ∂ŷ_i / ∂y_i 를 사용한다.
• 기존에 이러한 설정에서 불안정성이 알려진 바 있음에도 불구하고, 다수의 관측치를 동시에 변형하여 GDF를 베르누이 자료에 적용하는 방법을 개선한다.
• 반복 10등분 교차검증을 통해 유도된 AIC와 GDF 기반 AICc를 비교하며, 시뮬레이션 및 실제 생태학적 데이터셋을 사용한다.
• 기준으로 사용하기 위해 교차검증을 통해 전체 모델과 보류 세트 간의 로그우도 차이(Δℓ^CV_m)를 이용해 모델 복잡도를 추정한다.
• GDF에 필요한 모델 피팅 횟수(수천 수십만 번)와 교차검증에 필요한 횟수(~1000회)를 세어 계산 효율성을 평가한다.
• 랜덤 포레스트, 신경망, 부스팅된 회귀 트리 등 다양한 모델에 적용하여 알고리즘 유형 간 일반화 가능성 테스트.

실험 결과

연구 질문

• RQ1 일반화 자유도(GDF)는 이진 자료를 가진 블랙박스 모델의 모델 복잡도 추정에 신뢰성 있게 사용될 수 있는가?
• RQ2 GDF 기반 AICc는 안정성과 정확도 측면에서 교차검증 기반의 모델 복잡도 및 잔차 추정치와 비교해 볼 때 어떻게 다른가?
• RQ3 특히 큰 또는 복잡한 모델에 대해, GDF 접근법은 실용적인 모델 선택에 계산적으로 가능할 수 있는가?
• RQ4 랜덤 포레스트 및 부스팅된 회귀 트리와 같은 다양한 기계학습 알고리즘 간에 GDF 방법은 일관된 결과를 도출하는가?
• RQ5 GDF 기반 AIC는 모델 평균화에 효과적으로 사용될 수 있는가, 아니면 교차검증이 더 적합한 대안인가?

주요 결과

• 베르누이 자료에 대한 GDF 추정치는 불안정했고, 동시에 변형된 데이터 포인트 수에 대해 일관되지 않은 민감도를 보여 신뢰성에 문제가 있었다.
• GDF 접근법은 매우 계산적으로 비효율적이었으며, 수천 수십만 번의 모델 피팅이 필요해 대부분의 실용적 응용에 부적합했다.
• 반복 10등분 교차검증은 GDF 기반 추정보다 더 견고했고, 더 적은 가정을 수용했으며, 훨씬 더 빠른 속도를 보였다.
• GDF 기반 AICc는 일부 경우에서 교차검증 결과와 유사성을 보였지만, GDF 추정의 불안정성으로 인해 실용적 활용도가 제한되었다.
• 교차검증 기반의 모델 복잡도 추정치(Δℓ^CV_m)는 GDF보다 더 직접적으로 해석 가능했고, 임의의 변동 선택에 더 덜 의존했다.
• 본 연구는 GDF보다 교차검증이 비우도 기반 모델이 아닌 모델에서 모델 복잡도 추정에 더 실용적이고 신뢰할 수 있는 대안임을 결론내린다. 특히 이진 결과에 대해 적용된다.