[논문 리뷰] Landscape Complexity for the Empirical Risk of Generalized Linear Models

Antoine Maillard, Gérard Ben Arous외 1명|arXiv (Cornell University)|2019. 12. 04.

Statistical Methods and Inference참고 문헌 49인용 수 8

한 줄 요약

이 논문은 고차원 일반선형모형에서의 경험위험의 임의의 및 고정된 복잡도—비평균 및 일반적인 임계점 수의 로그—를 계산하기 위한 엄밀하고 비엄밀한 방법을 개발한다. 비정규, 고차원 랜덤 함수로 Kac-Rice 방법을 확장함으로써, 두 복잡도에 대한 명시적 변분 공식을 유도하여, 경계의 위상적 구조, 특히 어려운 최적화 영역에서 쉬운 최적화 영역으로의 전이를 정밀하게 특성화할 수 있다.

ABSTRACT

We present a method to obtain the average and the typical value of the number of critical points of the empirical risk landscape for generalized linear estimation problems and variants. This represents a substantial extension of previous applications of the Kac-Rice method since it allows to analyze the critical points of high dimensional non-Gaussian random functions. Under a technical hypothesis, we obtain a rigorous explicit variational formula for the annealed complexity, which is the logarithm of the average number of critical points at fixed value of the empirical risk. This result is simplified, and extended, using the non-rigorous Kac-Rice replicated method from theoretical physics. In this way we find an explicit variational formula for the quenched complexity, which is generally different from its annealed counterpart, and allows to obtain the number of critical points for typical instances up to exponential accuracy.

연구 동기 및 목표

• 고차원 일반선형모형에서 경험위험 경계의 위상적 구조, 특히 허위 임계점이 존재하는 경우를 특성화하기 위해.
• 기계학습에서 나타나는 비정규, 고차원 경험위험 함수를 분석하기 위해 Kac-Rice 방법을 정규 랜덤 함수를 초월해 확장하기 위해.
• 기술적 가정 하에 엄밀하게 임의의 복잡도(임계점 수의 평균의 로그)를 계산하기 위해.
• 통계물리에서 유래한 비엄밀하지만 정확한 복제 방법을 사용하여 고정된 복잡도(일반적인 임계점 수의 로그)에 대한 명시적 공식을 유도하기 위해.
• 최적화 경계의 전체 위상적 분석을 가능하게 하며, 경계가 유리한 성질로 전이되는 단계 전이의 식별을 포함하기 위해.

제안 방법

• 비정규 데이터를 가진 일반선형모형에서 경험위험의 임계점 수의 기대값을 계산하기 위해 Kac-Rice 방법을 적용한다.
• 헤시안 행렬의 결정인자 농도에 대한 기술적 가정 하에 임의의 복잡도에 대한 엄밀한 변분 공식을 유도한다.
• 산노의 정리와 바라하단의 보조정리를 사용하여 오버랩 파라미터와 경험측도에 대한 안장점 근사 계산을 수행한다.
• 통계물리에서 유래한 복제 방법을 사용하여 고정된 복잡도를 계산하며, 이는 일반적인 경계 행동을 반영한다.
• 적절한 기술적 조건 하에 이진 분류, 혼합 정규분포, 비지도 학습을 포함한 다수의 모델로 프레임워크를 일반화한다.
• 서로 다른 i.i.d. 성분 분포를 통해 구분된 비구형 사전분포를 고려하여, 구형 대칭성 외부로의 적용 범위를 확장한다.

실험 결과

연구 질문

• RQ1 고차원 일반선형모형의 경험위험 경계에서 일반적인 임계점의 수는 얼마인가?
• RQ2 임의의 복잡도와 고정된 복잡도의 차이는 무엇이며, 어느 것이 일반적인 사례를 더 잘 특성화하는가?
• RQ3 기계학습에서 나타나는 비정규, 고차원 랜덤 함수에 대해 Kac-Rice 방법을 확장할 수 있는가?
• RQ4 경계가 많은 허위 최소점에서 안정적인 최적화 영역으로 전이되는 위상 전이 점은 어디인가?
• RQ5 이러한 경계에서 임계점의 헤시안과 인덱스 분포는 어떻게 특성화할 수 있는가?

주요 결과

• 헤시안 농도에 대한 기술적 가정 하에, 임계점 수의 평균의 로그인 임의의 복잡도에 대한 엄밀한 명시적 변분 공식이 도출되었다.
• 일반적인 경계 행동을 반영하는 고정된 복잡도는 비엄밀하지만 정확한 복제 방법을 통해 계산되었으며, 임의의 복잡도보다 더 구체적이고 정보가 풍부한 공식을 제공한다.
• 고정된 복잡도 공식은 일반적인 사례에서 임계점 수의 지수적 정확도 추정을 가능하게 하여 알고리즘 성능 이해에 핵심적이다.
• 이 방법은 이전의 Kac-Rice 적용 범위를 정규 함수에 국한시켜 확장하여 비정규 데이터를 가진 일반선형모형에 적용 가능하다.
• 이진 분류, 혼합 정규분포, 비구형 사전분포를 가진 비지도 학습과 같은 주요 모델에 대해 명시적 공식이 도출되었다.
• 결과적으로, 임의의 복잡도는 희귀 사례에 의해 지배되는 반면, 고정된 복잡도는 알고리즘적으로 관련 있는 일반적인 경계 구조를 반영한다.