[논문 리뷰] Mathematics of learning

Natalia L. Komarova, Igor Rivin|ArXiv.org|2001. 05. 29.

Stochastic processes and statistical mechanics참고 문헌 9인용 수 5

한 줄 요약

이 논문은 개념 습득 모델에서 기억이 없는 알고리즘과 전 memory 알고리즘의 수렴 속도를 분석하며, 랜덤 전이 행렬의 주요 고유값과 성능을 연결한다. 수렴 속도는 개념 간 오버랩 밀도의 분포에 따라 결정되며, 랜덤 다항식의 근과 조화 평균 추정을 통해 점점 더 큰 스케일 법칙이 도출된다.

ABSTRACT

We study the convergence properties of a pair of learning algorithms (learning with and without memory). This leads us to study the dominant eigenvalue of a class of random matrices. This turns out to be related to the roots of the derivative of random polynomials (generated by picking their roots uniformly at random in the interval [0, 1], although our results extend to other distributions). This, in turn, requires the study of the statistical behavior of the harmonic mean of random variables as above, which leads us to delicate question of the rate of convergence to stable laws and tail estimates for stable laws. The reader can find the proofs of most of the results announced here in the paper entitled "Harmonic mean, random polynomials, and random matrices", by the same authors.

연구 동기 및 목표

• 기본 개념 습득 모델에서 기억이 없는 알고리즘과 전 memory 알고리즘의 수렴 속도를 이해하기 위해.
• 랜덤 개념 오버랩을 가진 학습 동역학에서 발생하는 랜덤 전이 행렬의 스펙트럼 성질을 분석하기 위해.
• 전이 행렬의 두 번째로 큰 고유값과 균일하게 분포된 [0,1] 구간 내의 랜덤 다항식의 도함수의 최소 근 사이의 관계를 연결하기 위해.
• 오버랩 분포의 尾행동에 따라 고정된 신뢰도에 도달하기 위한 단계 수에 대한 渐近적 스케일 법칙을 도출하기 위해.
• 다양한 오버랩 분포 하에서 기억이 없는 전략과 전 memory 전략의 효율성을 비교하기 위해.

제안 방법

• 개념 간 랜덤 유사도 오버랩에서 유도된 전이 행렬을 갖는 마르코프 과정으로 학습을 모델링한다.
• 전이 행렬의 주요 고유값과 스펙트럼 갭을 분석하여 수렴 속도를 결정한다.
• 전이 행렬의 특성 다항식과 [0,1]에 균일하게 분포된 근을 가진 랜덤 다항식의 도함수 사이의 수학적 연결 고리를 설정한다.
• 랜덤 다항식의 도함수의 최소 근이 전이 행렬의 두 번째로 큰 고유값과 대응됨을 이용한다.
• 극단가치 이론과 안정 분포 이론을 적용하여 오버랩 밀도를 나타내는 랜덤 변수들의 조화 평균을 분석한다.
• 대규모 변동 추정과 안정 분포의 꼬리 행동 분석을 활용하여 학습 과정의 수렴 속도를 도출한다.

실험 결과

연구 질문

• RQ1 기억이 없는 학습 알고리즘의 수렴 속도는 개념 수와 개념 오버랩 분포에 따라 어떻게 스케일되는가?
• RQ2 오버랩 밀도 함수가 1 근처에서 꼬리 행동에 따라 학습 속도에 어떤 영향을 미치는가?
• RQ3 기대 수렴 시간 측면에서 전 memory 학습과 기억이 없는 학습 간의 비교는 어떠한가?
• RQ4 전이 행렬의 스펙트럼 갭과 랜덤 다항식 도함수의 근 사이의 관계는 무엇인가?
• RQ5 랜덤 오버랩의 극단가치 및 안정 분포 성질이 학습 시간 분포에 어떤 영향을 미치는가?

주요 결과

• 균일 분포 오버랩의 경우, $1-\triangle$ 신뢰도에 도달하기 위한 단계 수 $N_{\triangle}$ 은 기억이 없는 학습에서 $|\text{log} \triangle| n \log n$ 으로 스케일되고, 전 memory 학습에서는 $(1-\triangle)^2 n \log n$ 으로 스케일된다.
• 오버랩 밀도가 1 근처에서 $x^\beta$ 로 행동하고 $\beta > 0$ 이면, 기억이 없는 학습에서 수렴은 $|\text{log} \triangle| n$ 으로 스케일되고, 전 memory 학습에서는 $(1-\triangle)^2 n$ 으로 스케일된다.
• 꼬리가 무거운 오버랩 밀도($-1 < \beta < 0$)의 경우, 기억이 없는 학습에서 수렴 시간은 $|\text{log} \triangle| n^{1/(1+\beta)}$ 으로 스케일되고, 전 memory 학습에서도 유사하게 스케일된다.
• 전 memory 학습의 기대 시간은 기억이 없는 학습보다 渐近적으로 일정한 요소만큼 더 좋으며, 이 요소는 $\triangle$ 이 작을수록 $|\text{log} \triangle|$ 으로 스케일된다.
• 분석 결과, 전이 행렬의 두 번째로 큰 고유값은 [0,1]에 균일하게 분포된 근을 가진 랜덤 다항식의 도함수의 최소 근에 의해 결정됨을 밝혀냈다.
• 정확한 渐近적 상수는 유도할 수 있지만, 수렴 속도가 느리게(로그형) 이므로 정확한 경계의 실용적 유용성은 제한된다.