[논문 리뷰] Dimensionality determination: a thresholding double ridge ratio criterion

Xuehu Zhu, Tao Wang외 1명|arXiv (Cornell University)|2016. 08. 16.

Statistical Methods and Inference참고 문헌 30인용 수 9

한 줄 요약

이 논문은 충분한 차원 감소, 인수 모형, 그리고 회귀에서 차원 수 결정을 향상시키기 위해 임계값 기반 이중 릿지 비율 기준을 제안한다. 이는 주로 우세한 고유값으로 인한 부족 결정 문제를 해결한다. 이 방법은 다수의 국소 최소값이 존재하는 상황에서도 진정한 차원을 일관되게 추정하며, 기존의 고유값 분해 기반 기준보다 더 견고한 비율 기반 임계값 처리 방식을 통해 우월한 성능을 보인다.

ABSTRACT

Popularly used eigendecomposition-based criteria such as BIC type, ratio estimation and principal component-based criterion often underdetermine model dimensionality for regressions or the number of factors for factor models. This longstanding problem is caused by the existence of one or two dominating eigenvalues compared to other nonzero eigenvalues. To alleviate this difficulty, we propose a thresholding double ridge ratio criterion such that the true dimension can be better identified and is less underdetermined. Unlike all existing eigendecomposition-based criteria, this criterion can define consistent estimate without requiring the uniqueness of minimum and can then handle possible multiple local minima scenarios. This generic strategy would be readily applied to other dimensionality or order determination problems. In this paper, we systematically investigate, for general sufficient dimension reduction theory, the dimensionality determination with fixed and divergent dimensions; for local alternative models that converge to its limiting model with fewer projected covariates, discuss when the number of projected covariates can be consistently estimated, when cannot; and for ultra-high dimensional factor models, study the estimation consistency for the number of common factors. Numerical studies are conducted to examine the finite sample performance of the method.

연구 동기 및 목표

• 충분한 차원 감소, 인수 모형, 그리고 회귀에서 고유값 분해 기반 기준의 차원 선택에 있어서 지속적인 부족 결정 문제를 해결한다.
• 하나 또는 두 개의 고유값이 나머지 고유값을 지배할 경우 기존 방법이 실패하여 일관된 추정이 불가능한 한계를 극복한다.
• 최소값의 유일성을 요구하지 않으며 다수의 국소 최소값이 존재하는 차원 수 추정 상황에서도 처리할 수 있는 일반적인 일관된 기준을 개발한다.
• 고정 차원 및 발산하는 차원 설정 하에서 이론적 일관성을 확립하며, 국소 대안 모형 및 초고차원 인수 모형을 포함한다.
• 다양한 고차원 설정에서의 유한 표본 성능을 수치적으로 검증한다.

제안 방법

• 고유값을 비율 기반 통계량으로 변환하여 구조적 차원 변화에 대한 민감도를 향상시키는 이중 릿지 비율 기준을 제안한다.
• 임계값 기반 메커니즘을 도입하여 잘못된 국소 최소값이 추정된 차원으로 선택되는 것을 방지한다.
• 이중 단계 변환을 적용한다: 먼저 고유값의 릿지 비율을 계산하고, 그 결과 비율에 대해 임계값 처리를 적용하여 진정한 차원을 식별한다.
• 점근적 분석을 통해 기준이 확률적으로 특정 패턴으로 수렴함을 보이며, 진정한 차원 이전에는 비율이 0에 가까워지고, 진정한 차원에서는 비율이 무한대로 수렴하며, 그 이후에는 비율이 1에 가까워진다.
• 비율 추정의 안정성과 다양한 표본 크기에서의 일관성 확보를 위해 조정 파rameter $ c_{1n} $ 과 $ c_{2n} $ 를 통합한다.
• 함수 $ x/(1+x) $ 의 단조성 특성을 활용하여 변환된 고유값과 그 비율의 점근적 행동을 유도한다.

실험 결과

연구 질문

• RQ1 우세한 고유값이 기존 방법을 왜곡할 경우 충분한 차원 감소에서 구조적 차원을 일관되게 추정할 수 있는 새로운 기준이 존재하는가?
• RQ2 기준 곡선 상의 다수의 국소 최소값에 대해 차원 수 결정을 어떻게 견고하게 만들 수 있는가?
• RQ3 초고차원 인수 모형에서 임계값 기반 이중 릿지 비율 기준이 공통 요인 수를 일관되게 추정할 수 있는 조건은 무엇인가?
• RQ4 진정한 모형이 더 적은 투영 공변수를 가진 더 단순한 국소 대안 모형으로 수렴할 경우, 이 방법은 여전히 일관성을 유지하는가?
• RQ5 제안된 방법의 유한 표본 성능 특성은 BIC 유사 기준 및 비율 기반 기준과 비교해 어떻게 되는가?

주요 결과

• 제안된 임계값 기반 이중 릿지 비율 기준은 표본 크기가 증가함에 따라 진정한 차원 $ q $ 를 확률적으로 일관되게 추정한다.
• 비율이 0 또는 무한대로 수렴하는 것을 방지하기 위해 비율에 임계값 처리를 적용함으로써 잘못된 국소 최소값이 선택되는 것을 성공적으로 방지하며, 진정한 차원만 선택됨을 보장한다.
• 국소 대안 모형이 더 단순한 모형으로 수렴할 경우, 수렴 속도가 충분히 느리면 이 방법은 투영 공변수의 수를 일관되게 추정할 수 있다.
• 초고차원 인수 모형에서는 적절한 조정 파rameter 선택 조건 하에서 공통 요인 수 추정에 대해 일관성을 확보한다.
• 수치적 연구 결과는 특히 우세한 고유값이 존재하는 상황에서 BIC 유사 기준 및 비율 기반 기준보다 뛰어난 유한 표본 성능을 보임을 확인한다.
• 이론적 분석을 통해 비율 $ \frac{\hat{s}^{*}_{(j+1)} + c_{2n}}{\hat{s}^{*}_{j} + c_{2n}} $ 가 진정한 차원 이후에는 $ \tau $ 보다 큰 값으로 수렴하고, 그 이전에는 $ \tau $ 보다 작은 값으로 수렴함을 확인하여 올바른 임계값 처리가 가능함을 입증한다.