[논문 리뷰] Goodness-of-fit tests on manifolds

Alexander Shapiro, Yao Xie외 1명|arXiv (Cornell University)|2019. 09. 11.

Sparse and Compressive Sensing Techniques참고 문헌 26인용 수 5

한 줄 요약

이 논문은 다양체 위의 비선형 모델을 위한 일반적인 적합도 검정 프레임워크를 개발하며, 비선형 최소 제곱 피팅의 잔차가 비중앙 카이제곱 분포를 따른다는 것을 보여준다. 주요 기여는 비선형 맵의 야생 랭크(characteristic rank)를 사용하여 순차적 검정을 통해 모델 차수를 결정하는 방법을 제안하는 것으로, 이는 저랭크 행렬/텐서 복원, 소스 분리, 신경망 아키텍처 선택 등에 적용 가능하다.

ABSTRACT

We develop a general theory for the goodness-of-fit test to non-linear models. In particular, we assume that the observations are noisy samples of a submanifold defined by a \yao{sufficiently smooth non-linear map}. The observation noise is additive Gaussian. Our main result shows that the "residual" of the model fit, by solving a non-linear least-square problem, follows a (possibly noncentral) $χ^2$ distribution. The parameters of the $χ^2$ distribution are related to the model order and dimension of the problem. We further present a method to select the model orders sequentially. We demonstrate the broad application of the general theory in machine learning and signal processing, including determining the rank of low-rank (possibly complex-valued) matrices and tensors from noisy, partial, or indirect observations, determining the number of sources in signal demixing, and potential applications in determining the number of hidden nodes in neural networks.

연구 동기 및 목표

• 비선형 모델의 다양체 구조를 가진 데이터에 대한 일반적인 적합도 검정 통계 프레임워크를 개발하는 것.
• 가우시안 노이즈가 첨가된 비선형 최소 제곱 피팅의 잔차 분포를 특성화하는 것.
• 비선형 사상과 관련된 야생 랭크를 사용하여 중첩된 모델 간의 순차적 모델 차수 선택을 가능하게 하는 것.
• 예측 오차를 계산하기 어려운 경우 AIC/BIC의 실용적이고 분포 기반의 대안을 제공하는 것.
• 저랭크 행렬 복원, 블라인드 소스 분리, 신경망 아키텍처 탐색과 같은 실제 문제들에서의 방법의 유용성을 보여주는 것.

제안 방법

• 관측치를 매끄러운 비선형 사상으로 정의된 하위다양체 위의 노이즈가 첨가된 샘플로 모델링한다.
• 잔차 제곱합의 渐近 분포가 야생 랭크로 결정되는 비중앙 카이제곱 분포임을 도출한다.
• 야생 랭크는 비선형 사상의 야생 랭크로, 모델 구조와 활성화 함수에 따라 달라진다.
• 잔차 감소가 통계적으로 유의미한지 검정함으로써 중첩된 모델을 비교하기 위한 순차적 가설 검정을 제안한다.
• 귀무가설 하에서 특정 모델 차수에 대해 p-값을 계산하기 위해 잔차의 카이제곱 분포를 사용한다.
• 수치 실험과 경사 하강법 최적화를 통해 행렬/텐서 복원, 신호 분리, 신경망에 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 다양체 위에서 비선형 최소 제곱 피팅의 잔차 제곱합은 알려진 통계 분포로 특성화될 수 있는가?
• RQ2 비선형 모델에서 야생 랭크를 사용하여 올바른 모델 차수를 결정할 수 있는가?
• RQ3 이 프레임워크는 AIC/BIC의 신뢰할 수 있는 분포 기반 대안을 비선형 설정에서 모델 차수 선택에 제공할 수 있는가?
• RQ4 이러한 테스트는 노이즈가 첨가되고 완전하지 않은 관측치로부터 저랭크 행렬 및 텐서의 랭크를 결정하는 데 어떤 성능을 보이는가?
• RQ5 이 방법은 블라인드 신호 분리에서의 소스 수나 신경망의 은닉 노드 수를 얼마나 잘 식별하는가?

주요 결과

• 다양체 위에서 비선형 최소 제곱 피팅의 잔차 제곱합은 야생 랭크와 동일한 자유도를 갖는 비중앙 카이제곱 분포를 따른다.
• 이차 활성화 함수를 가진 한 층 신경망의 경우 야생 랭크는 $dr^* - r^*(r^* - 1)/2$이며, 시그모이드 활성화의 경우 $dr^*$이다. 이는 100회의 반복 실험을 통해 확인되었다.
• 렐루 활성화를 가진 신경망에서 $r^* = 4$ 및 $r^* = 5$일 때, 진짜 랭크를 94–96%의 비율로 올바르게 식별하였으며, 거짓 발견률은 6–12%였다.
• 이론적 랭크 예측이 불가능한 비해석적 활성화 함수(예: ReLU)에서도 이 방법은 효과를 유지한다.
• 제대로 제어된 I형 오류를 갖는 순차적 모델 차수 선택이 가능하며, 과소적합 모델에 대해 일관된 p-값 제어(유의수준 0.05 기준)가 이루어짐을 입증하였다.
• 핵심 노름 최소화 방법보다 히우리스틱 랭크 선택보다 성능이 뛰어나며, 점근적으로 편향이 있을 수 있는 핵심 노름 최소화의 체계적인 대안을 제공한다.