[논문 리뷰] Double descent in the condition number

Tomaso Poggio, Gil Kur외 1명|arXiv (Cornell University)|2019. 12. 12.

Random Matrices and Applications참고 문헌 16인용 수 13

한 줄 요약

이 논문은 i.i.d. $ n \times d $ 행렬 $ A $ 의 조건수(condition number)가 $ d $ 의 함수로 이중 내림(descend) 행동을 보이며, $ n = d $ 에서 최댓값을 보인다는 것을 보여준다. 이는 마르첸코-파스트르 법칙(Marchenko-Pastur law)에 의해 결정되는 특이값 분포 때문이며, 핵심 발견은 과다 결정된($ n > d $) 및 과소 결정된($ n < d $) 시스템이 정사각형 시스템($ n = d $)보다 조건수가 더 양호하다는 것이다. 이는 역문제 및 머신러닝, 특히 커널 방법에서의 안정성에 영향을 미친다.

ABSTRACT

In solving a system of $n$ linear equations in $d$ variables $Ax=b$, the condition number of the $n,d$ matrix $A$ measures how much errors in the data $b$ affect the solution $x$. Estimates of this type are important in many inverse problems. An example is machine learning where the key task is to estimate an underlying function from a set of measurements at random points in a high dimensional space and where low sensitivity to error in the data is a requirement for good predictive performance. Here we discuss the simple observation, which is known but surprisingly little quoted (see Theorem 4.2 in \cite{Brgisser:2013:CGN:2526261}): when the columns of $A$ are random vectors, the condition number of $A$ is highest if $d=n$, that is when the inverse of $A$ exists. An overdetermined system ($n&gt;d$) as well as an underdetermined system ($n

연구 동기 및 목표

• 차원수 $ d $ 의 함수로 랜덤 행렬의 조건수 행동을 분석하고, 특히 과다 결정 및 과소 결정 시스템과의 관계를 규명하는 것.
• 유일한 역행렬이 존재하는 바에도 불구하고 $ n = d $ 에서 조건수가 악화되는 이유를 랜덤 행렬 이론을 통해 설명하는 것.
• 고차원 i.i.d. 데이터로부터 유도된 커널 행렬에 대해 조건수의 이중 내림 현상을 확장하는 것.
• 선형 시스템의 안정성과 머신러닝에서 일반화 성능, 특히 보간 모델에서의 관계를 연결하는 것.
• 고차원 i.i.d. 데이터 기반 커널 방법이 $ \gamma = n/d < 1 $ 일 때 정규화 없이도 본질적으로 잘 조절된 상태임을 보여주는 것.

제안 방법

• i.i.d. 평균 0, 분산 1인 요소를 가진 큰 랜덤 행렬에 대해 마르첸코-파스트르 법칙을 사용하여 조건수 $ \kappa(A) = \sigma_{\text{max}}(A)/\sigma_{\text{min}}(A) $ 를 분석한다.
• $ n, d \to \infty $ 이면서 $ \gamma = n/d $ 가 고정된 경우의 점근적 극한을 고려하여 $ A $ 의 최대 및 최소 특이값의 극한 분포를 유도한다.
• 조건수를 연산자 노름과 의사역행렬을 사용하여 $ \kappa(A) = \|A\| \|A^\dagger\| $ 로 정의하며, 극단 특이값의 비율과 연결한다.
• 커널 행렬 $ K(x_i, x_j) = f(x_i^T x_j) $ 에 대해서는 엘 카루이(EI Karoui, 2010)의 결과를 적용하여, 미약한 조건 하에 커널 행렬이 점차적으로 $ XX^T $, 항등행렬, 全-1 행렬의 선형 조합과 동일하게 행동하며, 마르첸코-파스트르 스펙트럼을 유지함을 보여준다.
• MATLAB의 'cond' 함수를 사용한 수치적 검증을 통해 선형 및 라디얼 커널 행렬 모두에서 이중 내림 패턴을 확인한다.
• 작은 특이값에 관한 결과들(루돌슨 & 버시니(Rudelson & Vershynin, 2009), 데이비드슨 & 쇼레크(Davidson & Szarek, 2001))를 이론적 근거로 활용한다.

실험 결과

연구 질문

• RQ1 왜 랜덤 행렬 $ A \in \mathbb{R}^{n \times d} $ 의 조건수가 $ n = d $ 에서 최대가 되는가?
• RQ2 특히 $ n > d $, $ n = d $, $ n < d $ 의 영역에서 조건수 $ \kappa(A) $ 는 $ d $ 의 함수로 어떻게 행동하는가?
• RQ3 고차원 i.i.d. 데이터로부터 구성된 커널 행렬에 대해 조건수의 이중 내림 행동이 어느 정도까지 확장되는가?
• RQ4 만약 $ n/d < 1 $ 이라면, 정규화 없이도 커널 방법이 본질적으로 잘 조절된 상태가 될 수 있는가?
• RQ5 현대 머신러닝에서 관찰된 일반화 오차의 이중 내림 현상과 조건수의 이중 내림 현상 사이의 관계는 무엇인가?

주요 결과

• i.i.d. $ \mathcal{N}(0,1) $ 요소를 가진 랜덤 $ n \times d $ 행렬의 조건수가 $ n = d $ 에서 최댓값을 보이며, $ n/d \to 0 $ 과 $ n/d \to \infty $ 에서 최소값을 보이는 이중 내림 패턴을 나타낸다.
• $ \gamma = n/d < 1 $ 일 때, $ \frac{1}{d}AA^T $ 의 최소 특이값은 $ (1 - \sqrt{\gamma})^2 $ 근처에 집중되고, $ \gamma > 1 $ 일 때는 $ \frac{1}{n}A^T A $ 의 최소 특이값은 $ (1 - \sqrt{\gamma^{-1}})^2 $ 근처에 집중된다.
• $ \gamma = 1 $ 일 때, 최소 특이값은 $ \min\{n^{-1}, d^{-1}\} (\max\{\sqrt{n} - \sqrt{d-1}, \sqrt{d} - \sqrt{n-1}\})^2 $ 와 비슷한 척도를 가지며, 이는 $ \gamma \neq 1 $ 인 경우보다 훨씬 작다.
• $ n = d $ 인 정사각형 시스템보다, $ n \neq d $ 인 과소 또는 과다 결정된 경우에 의사역행렬 해 $ x = A^\dagger b $ 의 조건수가 일반적으로 훨씬 더 좋고(1에 더 가까움) 특이값 분포가 향상되어 있기 때문이다.
• 매끄러운 커널(예: 라디얼 기저 함수)을 사용한 고차원 i.i.d. 데이터 기반 커널 행렬은 마르첸코-파스트르 극한 하에서 $ XX^T $, 항등행렬, 全-1 행렬의 선형 조합과 점차적으로 동일하게 행동하므로, 선형 랜덤 행렬과 동일한 조건수의 이중 내림 행동을 물려받는다.
• 조건수의 이중 내림 현상은 선형 및 커널 보간기에서 관찰된 테스트 오차의 이중 내림 현상과 일치하며, 머신러닝에서 수치적 안정성과 일반화 성능 사이에 깊은 연결이 있음을 시사한다.