[논문 리뷰] Degrees of Freedom and Model Search

Ryan J. Tibshirani|arXiv (Cornell University)|2014. 02. 09.

Statistical Methods and Inference참고 문헌 14인용 수 5

한 줄 요약

이 논문은 정규직교 예측 변수 하에서 최적의 부분 선택의 자유도에 대한 정확한 표현을 유도하며, 모형 선택의 효과적 비용을 측정하기 위해 '검색 자유도'라는 개념을 도입한다. 스텐의 공식을 비연속 함수를 다룰 수 있도록 확장하여, 최적의 부분 선택에서 선택된 변수 수를 초과하는 자유도가 발생하는 이유를 밝히며, 라소와 달리 선택의 적응성으로 인해 자유도가 선택된 변수 수를 초과함을 보여준다.

ABSTRACT

Degrees of freedom is a fundamental concept in statistical modeling, as it provides a quantitative description of the amount of fitting performed by a given procedure. But, despite this fundamental role in statistics, its behavior not completely well-understood, even in some fairly basic settings. For example, it may seem intuitively obvious that the best subset selection fit with subset size k has degrees of freedom larger than k, but this has not been formally verified, nor has is been precisely studied. In large part, the current paper is motivated by this particular problem, and we derive an exact expression for the degrees of freedom of best subset selection in a restricted setting (orthogonal predictor variables). Along the way, we develop a concept that we name "search degrees of freedom"; intuitively, for adaptive regression procedures that perform variable selection, this is a part of the (total) degrees of freedom that we attribute entirely to the model selection mechanism. Finally, we establish a modest extension of Stein's formula to cover discontinuous functions, and discuss its potential role in degrees of freedom and search degrees of freedom calculations.

연구 동기 및 목표

• 최적의 부분 선택의 자유도를 체계적으로 기술하기 위해, 과적합에 대한 직관적 기대가 아직 엄밀히 확립되지 않은 절차에 대해 분석한다.
• 적응형 회귀에서 모형 선택 메커니즘에 기인한 자유도의 일부를 분리하여 측정하는 '검색 자유도' 개념을 도입하고 체계화한다.
• 비연속 함수를 다룰 수 있도록 스텐의 공식을 확장하여, 최적의 부분 선택과 같은 비연속적·적응형 절차에서 자유도 계산이 가능하도록 한다.
• 최적의 부분 선택에서의 자유도 행동과 라소에서의 자유도 행동을 비교한다. 라소의 경우, 수축 효과로 인해 자유도가 선택된 변수의 기대 수와 일치한다.

제안 방법

• 비연속 함수를 다룰 수 있도록 확장된 스텐의 공식을 활용하여, 정규직교 예측 변수 하에서 최적의 부분 선택의 자유도에 대한 정확한 표현을 유도한다.
• 모형 선택 과정에서 기인하는 총 자유도의 일부를 분리하여 정의하는 '검색 자유도' 개념을 도입한다.
• 최적의 부분 선택에서의 선택 메커니즘의 비연속성 문제를 다루기 위해 부분 인테그레이션과 조건부 기대 기법을 사용한다.
• 확장된 스텐의 공식을 적용하여 적합된 값이 반응 변수의 변화에 대해 얼마나 민감한지를 기대값으로 계산함으로써 자유도를 직접 도출한다.
• 정규직교 예측 변수 하에서 최적의 부분 선택에 대해, 자유도가 선택된 변수 수를 초과함을 입증한다. 이는 모형 공간에 대한 적응적 탐색의 결과이다.
• 유도된 결과를 기존의 라소 자유도 공식과 비교하여, 수축이 선택 비용을 균형 잡는 데 기여하는 역할을 분석한다.

실험 결과

연구 질문

• RQ1 부분 크기가 $k$인 최적의 부분 선택에서 자유도가 $k$보다 엄밀히 큰가? 만약 그렇다면, 얼마나 큰가?
• RQ2 적응형 회귀 절차에서 모형 선택 메커니즘이 총 자유도에 기여하는 정확한 기여도는 무엇인가?
• RQ3 최적의 부분 선택과 같은 모형 선택 절차에서 발생하는 비연속 함수를 다룰 수 있도록 스텐의 공식을 어떻게 확장할 수 있는가?
• RQ4 왜 라소는 자유도가 선택된 변수의 기대 수와 일치하는 반면, 최적의 부분 선택에서는 그렇지 않은가?
• RQ5 변수 선택 비용을 추정과 분리하여 정의하고 정량화할 수 있는 '검색 자유도' 개념을 체계적으로 정의할 수 있는가?

주요 결과

• 정규직교 예측 변수 하에서 최적의 부분 선택에 대해, 자유도는 선택된 변수 수인 $k$보다 엄밀히 크며, 이는 적응적 선택 과정의 결과이다.
• 논문은 정규직교 설계 하에서 최적의 부분 선택의 자유도에 대한 정확한 해석적 표현을 도출하였으며, 이가 $k$를 초과함을 확인하였다.
• 비로소 체계화된 '검색 자유도' 개념을 도입하고 정량화하였으며, 이는 추정과 독립된 모형 탐색의 효과적 비용을 나타낸다.
• 확장된 스텐의 공식은 최적의 부분 선택과 같은 비연속적·비스무스 절차에서 자유도 계산이 가능하도록 한다.
• 최적의 부분 선택과 달리, 라소의 자유도는 $ abla_1$ 수축 효과로 인해 선택된 변수의 기대 수와 일치한다.
• 결과적으로 최적의 부분 선택에서 모형 탐색의 비용은 비미미하며, 모형 비교 및 위험 추정에서 명시적으로 고려해야 한다.