[논문 리뷰] Revisiting complexity and the bias-variance tradeoff.

Raaz Dwivedi, Chandan Singh외 2명|arXiv (Cornell University)|2020. 06. 17.

Sparse and Compressive Sensing Techniques참고 문헌 60인용 수 9

한 줄 요약

이 논문은 Rissanen의 최소 기술 길이 원칙에 기반한 새로운 MDL 기반 복잡도 측정법(MDL-COMP)을 제안함으로써 고차원 모델에서의 편향-분산 트레이드오프를 재검토한다. MDL-COMP는 고차원에서 log d의 비율로 증가하며, d/n보다 느리게 증가함을 보이며, DNN과 같은 잘 튜닝된 고차원 모델의 일반화 성능에 대한 원리적인 설명을 제공한다.

ABSTRACT

The recent success of high-dimensional models, such as deep neural networks (DNNs), has led many to question the validity of the bias-variance tradeoff principle in high dimensions. We reexamine it with respect to two key choices: the model class and the complexity measure. We argue that failing to suitably specify either one can falsely suggest that the tradeoff does not hold. This observation motivates us to seek a valid complexity measure, defined with respect to a reasonably good class of models. Building on Rissanen's principle of minimum description length (MDL), we propose a novel MDL-based complexity (MDL-COMP). We focus on the context of linear models, which have been recently used as a stylized tractable approximation to DNNs in high-dimensions. MDL-COMP is defined via an optimality criterion over the encodings induced by a good Ridge estimator class. We derive closed-form expressions for MDL-COMP and show that for a dataset with $n$ observations and $d$ parameters it is \emph{not always} equal to $d/n$, and is a function of the singular values of the design matrix and the signal-to-noise ratio. For random Gaussian design, we find that while MDL-COMP scales linearly with $d$ in low-dimensions ($d n$) the scaling is exponentially smaller, scaling as $\log d$. We hope that such a slow growth of complexity in high-dimensions can help shed light on the good generalization performance of several well-tuned high-dimensional models. Moreover, via an array of simulations and real-data experiments, we show that a data-driven Prac-MDL-COMP can inform hyper-parameter tuning for ridge regression in limited data settings, sometimes improving upon cross-validation.

연구 동기 및 목표

• 적절한 모델 클래스에 대해 모델 복잡도를 재정의함으로써 고차원 모델에서의 편향-분산 트레이드오프를 재표현하는 것.
• 부적절한 복잡도 측정법으로 인해 고차원에서 편향-분산 트레이드오프가 붕괴된다는 오해를 해결하는 것.
• 선형 모델을 위한 최소 기술 길이(MDL) 원칙에 기반한 원리적인, 데이터 기반의 복잡도 측정법을 개발하는 것.
• MDL-COMP가 항상 d/n과 동일하지 않으며, 설계 행렬의 특이값과 신호 대 잡음 비율에 의존함을 보여주는 것.
• MDL-COMP가 제한된 데이터 환경에서 하이퍼파rameter 튜닝을 안내할 수 있으며, 일부 경우에서 교차검증보다 우수함을 보여주는 것.

제안 방법

• Rissanen의 MDL 원칙에 따라 좋은 릿지 추정기 클래스에 의해 유도되는 인코딩에 대한 최적성 기준을 정의함으로써 MDL-COMP를 정의한다.
• 설계 행렬의 특이값과 신호 대 잡음 비율에 따라 의존하는 MDL-COMP의 닫힌 형태 식을 유도한다.
• 랜덤 가우시안 설계 하에서 MDL-COMP를 분석하여, 저차원에서는 d에 선형적으로 증가하지만 고차원에서는 log d 비율로 증가함을 보인다.
• 실제 하이퍼파rameter 튜닝을 위한 실용적 버전인 Prac-MDL-COMP를 도입한다.
• 낮은 데이터 환경에서의 시뮬레이션과 실데이터 실험을 통해 Prac-MDL-COMP가 교차검증과 비교하여 성능을 검증한다.

실험 결과

연구 질문

• RQ1 적절한 복잡도 측정법이 사용될 경우, 고차원 모델에서 편향-분산 트레이드오프가 여전히 유효한가?
• RQ2 MDL 원칙에서 유도된 복잡도 측정법이 고차원 선형 모델에서 모델 복잡도를 더 정확하게 특성화할 수 있는가?
• RQ3 랜덤 가우시안 설계 하에서 MDL-COMP는 차원 d에 대해 어떻게 증가하는가? 기존의 d/n 측정법과 다를까?
• RQ4 제한된 데이터 환경에서 Prac-MDL-COMP는 교차검증에 비해 릿지 회귀의 하이퍼파rameter 튜닝을 향상시킬 수 있는가?
• RQ5 설계 행렬의 특이값과 신호 대 잡음 비율은 MDL-COMP를 결정하는 데 어떤 역할을 하는가?

주요 결과

• MDL-COMP는 항상 d/n과 동일하지 않으며, 설계 행렬의 특이값과 신호 대 잡음 비율에 의존한다.
• 랜덤 가우시안 설계 하에서, MDL-COMP는 저차원에서는 d에 선형적으로 증가하지만 고차원에서는 log d 비율로 증가한다.
• 고차원에서의 느린 log d 증가 비율은 잘 튜닝된 고차원 모델의 우수한 일반화 성능에 대한 잠재적 설명을 제공한다.
• MDL-COMP의 데이터 기반 변형인 Prac-MDL-COMP는 제한된 데이터 하에서 릿지 회귀의 하이퍼파rameter 튜닝을 향상시키며, 일부 경우에서 교차검증을 능가한다.
• 제안된 복잡도 측정법은 고차원 선형 모델링에서 히وري스틱 또는 점근적 복잡도 정의의 원리적인 대안을 제공한다.