[논문 리뷰] Spectral approximations in machine learning

Darren Homrighausen, Daniel J. McDonald|arXiv (Cornell University)|2011. 07. 21.

Neural Networks and Applications참고 문헌 12인용 수 4

한 줄 요약

이 논문은 스펙트럴 머신러닝에서 큰 커널 행렬의 고유벡터를 근사하기 위해 Nyström 확장과 가우시안 투영 방법을 비교한다. 성능은 작업에 따라 달라지며, 중간 크기의 샘플 수(m ≈ 10% of n)에서 분류 작업에서는 가우시안 투영이 Nyström을 능가하지만, 군집화와 다양체 복원에서는 Nyström이 뛰어나며, 가중치 샘플링이 균일 샘플링보다 약간 향상된 성능을 보인다.

ABSTRACT

In many areas of machine learning, it becomes necessary to find the eigenvector decompositions of large matrices. We discuss two methods for reducing the computational burden of spectral decompositions: the more venerable Nystom extension and a newly introduced algorithm based on random projections. Previous work has centered on the ability to reconstruct the original matrix. We argue that a more interesting and relevant comparison is their relative performance in clustering and classification tasks using the approximate eigenvectors as features. We demonstrate that performance is task specific and depends on the rank of the approximation.

연구 동기 및 목표

• 머신러닝에서 스펙트럴 근사를 위한 Nyström 확장과 가우시안 투영의 원칙적인 비교를 제공하기 위해.
• 매트릭스 복원 정확도가 아니라, 군집화, 분류, 다양체 복원과 같은 최종 학습 작업에 미치는 영향을 평가하기 위해.
• 근사 질서(m)와 샘플링 전략(균일 대비 가중치 기반)이 실제 머신러닝 응용에서 성능에 미치는 영향을 조사하기 위해.
• 다양한 학습 작업과 데이터 스케일에서 한 방법이 항상 다른 방법을 능가하는지 확인하기 위해.

제안 방법

• 연구는 그래프 라플라시안에서 유도된 확산 맵을 핵심 스펙트럴 기법으로 사용하며, 정규화된 가중치 매트릭스 W의 고유분해가 필요하다.
• Ny스트롬 방법은 W의 m개 열(및 행)을 샘플링하여 W의 스펙트럼을 근사하고, 보간을 통해 전체 매트릭스로 고유분해를 확장한다.
• 가우시안 투영 방법은 무작위 투영을 사용해 전체 매트릭스를 낮은 차원의 부분공간으로 매핑한 후, 이 부분공간에서 고유벡터를 계산하고 다시 올린다.
• Ny스트롬의 두 변형을 시험: 균일 샘플링과 W의 대각선 요소 기반 가중치 샘플링.
• 근사 품질은 세 가지 작업에서 평가: 저차원 다양체 복원, 군집화, 10겹 교차검증을 사용한 SVM 기반 분류.
• 성능은 테스트 세트의 오분류율과 고유벡터 임베딩의 시각적 점검을 통해 측정되며, 작은 데이터셋(n=4800)의 경우 진짜 고유벡터를 기준으로 삼는다.

실험 결과

연구 질문

• RQ1 분류 및 군집화와 같은 최종 머신러닝 작업에서 가우시안 투영이 Nyström 방법을 능가하는가?
• RQ2 샘플링 전략(균일 대비 가중치 기반)의 선택이 Nyström의 스펙트럴 근사 성능에 어떤 영향을 미치는가?
• RQ3 근사 질서 m이 다양한 학습 작업에서 두 방법의 성능에 어떤 영향을 미치는가?
• RQ4 스펙트럴 방법에서 매트릭스 복원 정확도는 최종 학습 성능을 신뢰할 수 있는 지표로 간주할 수 있는가?
• RQ5 분류 작업에서 가우시안 투영이 Nyström을 능가하기 시작하는 m의 값은 얼마인가?

주요 결과

• 4800개 샘플의 MNIST 부분집합에서 m = 400일 때, 가우시안 투영은 725건의 정확한 분류(90.6% 정확도)를 달성하여 Nyström 방법(697~701건)을 능가했다.
• 동일한 분류 작업에서 진짜 고유벡터 방법은 756건의 정확한 분류(94.5% 정확도)를 기록하여, 가우시안 투영이 작은 효율 손실만을 겪는 것으로 나타났다.
• 다양체 복원 작업에서는 Nyström과 가우시안 투영 모두 기저의 저차원 구조를 성공적으로 복원했지만, 가우시안 투영의 임베딩은 진짜 고유벡터보다 약간 더 왜곡되어 있었다.
• 군집화 작업에서는 가우시안 투영이 Nyström과 진짜 고유벡터보다 더 노이즈가 많은 임베딩을 생성하여 내부 고리와 외부 고리의 분리가 떨어졌다.
• 더 큰 m(예: n=18,000에서 m=4050)일 경우, 가우시안 투영의 오분류율이 크게 향상되어 특히 m ≥ 10% of n일 때 Nyström을 능가했다.
• 가중치 기반 Nyström은 균일 샘플링 Nyström보다 약간 뛰어나지만, 그 차이는 미미하여 샘플링 전략의 영향은 근사 방법의 선택에 비해 제한적임을 시사한다.