[논문 리뷰] Dimension-free Concentration Bounds on Hankel Matrices for Spectral Learning

François Denis, Mattias Gybels외 1명|arXiv (Cornell University)|2013. 12. 21.

Sparse and Compressive Sensing Techniques참고 문헌 31인용 수 11

한 줄 요약

이 논문은 확률적 부동기계의 스펙트럴 학습에 사용되는 헨켈 행렬에 대해 치수에 의존하지 않는 농도 경계를 도입하며, 표본 헨켈 행렬이 평균 주위에 농도를 보이는 방식이 행렬 크기 증가에 따라 악화되지 않음을 입증한다. 원래 분포, 그 접두사 함수 및 인수 함수에 대한 경계를 유도하고, 이를 매개변수화한 변형을 고려함으로써, 더 큰 헨켈 행렬을 사용해도 정확도를 저하시키지 않음을 보여주며, 계산상의 이유로 행렬 크기를 제한하는 일반적인 관행을 도전한다.

ABSTRACT

Learning probabilistic models over strings is an important issue for many applications. Spectral methods propose elegant solutions to the problem of inferring weighted automata from finite samples of variable-length strings drawn from an unknown target distribution. These methods rely on a singular value decomposition of a matrix $H_S$, called the Hankel matrix, that records the frequencies of (some of) the observed strings. The accuracy of the learned distribution depends both on the quantity of information embedded in $H_S$ and on the distance between $H_S$ and its mean $H_r$. Existing concentration bounds seem to indicate that the concentration over $H_r$ gets looser with the size of $H_r$, suggesting to make a trade-off between the quantity of used information and the size of $H_r$. We propose new dimension-free concentration bounds for several variants of Hankel matrices. Experiments demonstrate that these bounds are tight and that they significantly improve existing bounds. These results suggest that the concentration rate of the Hankel matrix around its mean does not constitute an argument for limiting its size.

연구 동기 및 목표

• 가중 부동기계의 스펙트럴 학습에서 정보 유지와 행렬 크기 사이의 상충 관계를 다루기.
• 행렬 차원 증가에 따라 악화되는 기존의 농도 경계의 한계를 극복하기.
• 원래 분포, 그 접두사 함수 및 인수 함수에서 유도된 헨켈 행렬에 대해 치수에 의존하지 않는 경계를 개발하기.
• 정보 활용과 농도 속도 사이의 균형을 맞추기 위해 접두사 및 인수 함수의 매개변수화된 변형을 도입하기.
• 실험적으로 더 큰 헨켈 행렬이 더 높은 모델 정확도를 제공하며, 경계가 날카롭고 이전 작업에 비해 크게 향상됨을 입증하기.

제안 방법

• 최근의 랜덤 행렬 이론을 활용하여, 표본 헨켈 행렬과 기대 헨켈 행렬 간의 스펙트럴 노름에 대해 치수에 의존하지 않는 농도 부등식을 유도한다.
• 원래 분포 $p$와 그 접두사 또는 인수 함수 사이를 완만하게 연결하는 두 가지 매개변수화된 가족 $\overline{p}_{\eta}$ 및 $\widehat{p}_{\eta}$를 도입한다.
• 치수에 의존하지 않는 경계를 $H_S^{U,V}$, $H_S^{\overline{p}_\eta}$ 및 $H_S^{\widehat{p}_\eta}$에 대해 확립한다.
• 진짜 오른쪽 특이 벡터와 추정된 오른쪽 특이 벡터가 생성하는 부분공간 간의 주요 각도를 모델 정확도의 척도로 사용한다.
• 학습된 부분공간과 진짜 부분공간의 가까움을 평가하기 위해 정규화된 거리 척도 $1 - \frac{1}{r}\sum_{i=1}^{r} \cos\theta_i$를 적용한다.
• 3,000행까지 다양한 행렬 크기를 가진 PAutomaC 벤치마크의 11개 문제에서 경계와 모델 성능을 평가한다.

실험 결과

연구 질문

• RQ1 표본 헨켈 행렬이 평균 주위에 농도를 보이는 정도가 행렬 크기 증가에 따라 악화되는가?
• RQ2 원래 분포, 접두사 함수 및 인수 함수에서 유도된 헨켈 행렬에 대해 치수에 의존하지 않는 농도 경계를 설정할 수 있는가?
• RQ3 매개변수화된 변형 $\overline{p}_\eta$ 및 $\widehat{p}_\eta$는 정보 활용과 농도 속도 사이의 상충 관계에 어떤 영향을 미치는가?
• RQ4 주로 부분공간 정렬을 측정했을 때, 더 큰 헨켈 행렬은 스펙트럴 학습의 정확도를 어느 정도 향상시키는가?
• RQ5 제안된 경계는 실험적으로 날카롭고 기존 경계보다 크게 향상되었는가?

주요 결과

• 모든 고정된 행렬 치수에 대해서도, $H_S^{U,V}$, $H_S^{\overline{p}_\eta}$ 및 $H_S^{\widehat{p}_\eta}$에 대한 치수에 의존하지 않는 농도 경계는 기존 경계보다 훨씬 날카롭다.
• 두 문제를 제외한 모든 문제에서, 가장 큰 행렬 크기(3,000행)를 사용했을 때 표본 헨켈 행렬의 오른쪽 특이 벡터가 생성하는 부분공간이 진짜 부분공간과 가장 가까웠다.
• большин의 문제에서 행렬 크기가 증가할수록 정규화된 거리 척도 $1 - \frac{1}{r}\sum_{i=1}^{r} \cos\theta_i$가 감소하여 부분공간 정렬이 향상됨을 나타냈다.
• 주요 각도의余현합은 행렬 크기가 증가함에 따라 증가했으며, 가장 큰 행렬에서는 최대 45.68에 도달하여 진짜 부분공간과의 강한 정렬을 나타냈다.
• $\overline{p}_\eta$ 및 $\widehat{p}_\eta$의 경계는 정보 활용과 농도 속도 사이의 조절 가능한 상충 관계를 가능하게 하며, 최적의 성능는 중간 정도의 $\eta$ 값에서 관찰되었다.
• 결과는 헨켈 행렬 크기를 제한하는 것이 농도 행동에 의해 정당화되지 않으며, 계산상의 제약 조건만이 행렬 크기를 결정해야 한다는 것을 시사한다.