[논문 리뷰] A scale-dependent notion of effective dimension

Oksana Berezniuk, Alessio Figalli외 2명|arXiv (Cornell University)|2020. 01. 29.

Computability, Logic, AI Algorithms참고 문헌 11인용 수 10

한 줄 요약

이 논문은 통계 모델에 대한 척도에 의존하는 효과적 차원을 제안한다. 이는 파라미터 공간의 박자 수 계산 차원을 사용하여 $\sqrt{n/(2\pi)}$로 스케일링한 것으로, 피셔 정보 매트릭스를 리만 메트릭으로 사용한다. 이 방법은 표본 크기 $n$에 의해 피셔 매트릭스를 정규화하여, 특히 피셔 매트릭스 고유값이 매우 산란되어 있을 경우 매우 큰 $n$에 가까워야 진짜 차원 $d$로 수렴하는 효과적 차원 추정치를 도출한다. 이로 인해 기존의 $d$보다 더 날카럽고 현실적인 경계를 제공한다.

ABSTRACT

We introduce a notion of "effective dimension" of a statistical model based on the number of cubes of size $1/\sqrt{n}$ needed to cover the model space when endowed with the Fisher Information Matrix as metric, $n$ being the number of observations. The number of observations fixes a natural scale or resolution. The effective dimension is then measured via the spectrum of the Fisher Information Matrix regularized using this natural scale.

연구 동기 및 목표

• 기존의 통계 및 기계학습 차원 개념의 한계를 해결하기 위해, 무한한 데이터를 가정하고 유한 표본 해상도를 忽시하는 문제를 해결한다.
• 표본 크기 $n$이 유한할 때 관측 가능한 복잡도를 반영하는 모델 차원 추정치를 개발한다. 이는 $1/\sqrt{n}$의 해상도 한계를 고려한다.
• 특히 신경망에 대해 기존의 VC 차원이나 파라미터 수와 같은 전통적 개념보다 더 정확하고 실용적인 모델 복잡도 측정법을 제공한다.
• 파라미터 공간 스케일링에 대해 불변이 되고 피셔 매트릭스 정규화에 대해 독립적인 효과적 차원의 개념을 체계화한다.
• 효과적 차원이 파라미터 수 $d$보다 훨씬 작을 수 있음을 보여주며, 특히 피셔 매트릭스 고유값이 산만할 경우에 특히 그렇다.

제안 방법

• 스케일링된 리만 다양체 $ (\sqrt{n/(2\pi)}\Theta, \bm{F}) $ 를 정의한다. 여기서 $ \bm{F} $ 는 피셔 정보 매트릭스이다.
• 해상도 $ \epsilon = \sqrt{2\pi/n} $ 에서 박자 수 계산 차원을 사용하여 스케일링된 파라미터 공간의 효과적 차원을 추정한다.
• 단위 큐브로 스케일링된 공간을 덮기 위해 필요한 수를 계산한다. 이는 $ \mathbf{Id}_d + \frac{n}{2\pi}\hat{\bm{F}}(\theta) $ 의 행렬식을 통해 계산한다. 여기서 $ \hat{\bm{F}} $ 는 정규화된 피셔 매트릭스이다.
• 효과적 차원을 다음과 같이 수식화한다: $ \text{dim}_{\text{eff},n}(\mathcal{M}) = 2 \frac{\log \left( \frac{1}{V_\Theta} \int_\Theta \sqrt{\det(\mathbf{Id}_d + \frac{n}{2\pi}\hat{\bm{F}}(\theta))} \, d\theta \right) }{\log(n/(2\pi))} $.
• 파라미터 공간 부피 $ V_\Theta $ 에 영향을 받지 않도록 피셔 매트릭스의 평균 추적값으로 정규화하여 척도 불변성을 확보한다.
• 신경망에 이 방법을 적용하여, 특히 $ \hat{\bm{F}} $ 의 고유값이 매우 산만할 경우 효과적 차원이 $ n $ 에 따라 느리게 증가함을 보여준다.

실험 결과

연구 질문

• RQ1 유한 표본 크기 $ n $ 에 따라 의존하는 모델의 효과적 차원을 어떻게 정의할 수 있으며, 이는 통계 추정의 해상도 한계를 반영하는가?
• RQ2 피셔 정보 매트릭스의 고유값 스펙트럼과 효과적 차원이 진짜 차원 $ d $ 로 수렴하는 속도 사이의 관계는 무엇인가?
• RQ3 특히 오버파rameter화된 모델인 신경망과 같은 경우에 효과적 차원이 파라미터 수 $ d $ 보다 더 날카로운 복잡도 경계를 제공할 수 있는가?
• RQ4 왜 효과적 차원이 반드시 $ n $ 에 대해 단조롭게 증가하지는 않는가? 이는 해상도 의존적 복잡도의 성질에 대해 무엇을 시사하는가?
• RQ5 피셔 매트릭스를 평균 추적값으로 정규화함으로써 효과적 차원의 불변성과 해석 가능성은 어떻게 영향을 받는가?

주요 결과

• 정규화된 피셔 매트릭스 $ \hat{\bm{F}} $ 의 고유값이 매우 산만할 경우, 효과적 차원 $ \text{dim}_{\text{eff},n}(\mathcal{M}) $ 는 $ n \to \infty $ 일 때 진짜 차원 $ d $ 로 수렴하지만 수렴 속도가 매우 느리다.
• $ \hat{\bm{F}} = \mathbf{Id}_d $ 인 경우, 효과적 차원은 $ d + O(d/(n \log n)) $ 로 수렴하여 고유값 분포가 균일할 경우 빠른 수렴을 보인다.
• 수치 시뮬레이션에서 고유값 산산이 흩어져 있기 때문에, 매우 큰 $ n $ 에서조차도 효과적 차원이 $ d $ 보다 현저히 작게 유지되며, 이는 더 날카로운 복잡도 경계로서의 유용성을 입증한다.
• 효과적 차원은 $ n $ 에 대해 반드시 단조롭지 않으며, 이는 스케일에 대한 박자 수 계산 차원 함수의 비단조적 행동을 반영한다.
• 피셔 매트릭스의 평균 추적값으로 정규화함으로써 파라미터 공간 $ \Theta $ 의 스케일링에 대해 불변이 되며, 다양한 모델 매개변수화 방식 간 일관된 해석을 보장한다.
• 효과적 차원은 $ 1/\sqrt{n} $ 해상도에서 파라미터 공간 내 관련 방향의 수를 반영하며, 고유값이 $ 2\pi/n $ 이상일 때만 의미 있게 기여한다.