[논문 리뷰] A random matrix analysis and improvement of semi-supervised learning for large dimensional data

Xiaoyi Mai, Romain Couillet|arXiv (Cornell University)|2017. 11. 09.

Bayesian Methods and Mixture Models참고 문헌 13인용 수 28

한 줄 요약

이 논문은 고차원 설정에서 그래프 기반 준지도 학습에 대한 랜덤 매트릭스 이론 기반 분석을 제공하며, 데이터 차원과 표본 크기가 비례하여 증가함에 따라 기존 방법이 일致하지 않음을 드러낸다. 이는 점차적 편향을 보정함으로써 분류 정확도를 크게 향상시키는 데이터 기반의 매개변수화 기법을 제안하며, MNIST에서 강력한 실험적 검증과 가우스 혼합 모델에서의 이론적 일치를 보인다.

ABSTRACT

This article provides an original understanding of the behavior of a class of graph-oriented semi-supervised learning algorithms in the limit of large and numerous data. It is demonstrated that the intuition at the root of these methods collapses in this limit and that, as a result, most of them become inconsistent. Corrective measures and a new data-driven parametrization scheme are proposed along with a theoretical analysis of the asymptotic performances of the resulting approach. A surprisingly close behavior between theoretical performances on Gaussian mixture models and on real datasets is also illustrated throughout the article, thereby suggesting the importance of the proposed analysis for dealing with practical data. As a result, significant performance gains are observed on practical data classification using the proposed parametrization.

연구 동기 및 목표

• 표본 수 n과 차원 p가 모두 커지고 비례함에 따라 그래프 기반 준지도 학습 알고리즘의 渐近적 행동을 이해하기 위해.
• 유사도 기반 레이블 전파의 표준 직관이 고차원에서 왜 실패하는지, 거리의 농도 현상 때문임을 밝히기 위해.
• 일致성을 복원하고 분류 성능을 향상시키기 위해 이론적으로 탄탄하고 데이터 기반의 매개변수화 기법을 개발하기 위해.
• 가우스 혼합 모델에 대한 渐近적 예측과 실제 데이터셋인 MNIST와 같은 실세계 데이터에서의 경험적 성능을 연결하는 이론적 프레임워크를 수립하기 위해.

제안 방법

• 표본 수 n과 차원 p가 모두 크고 비례함에 따라 레이블 전파 알고리즘의 渐近적 행동을 분석하기 위해 랜덤 매트릭스 이론을 사용한다.
• 핵심 행렬(D, W)의 타일러 전개를 1/√n 및 1/n 항까지 적용하여 레이블 전파 알고리즘의 정적 해에 대한 선형화 근사식을 유도한다.
• 표본 수와 차원의 비율에 따라 유도된 渐近적 분석을 바탕으로, 라벨된 데이터와 라벨되지 않은 데이터의 영향을 조정하는 매개변수 α를 포함하는 새로운 매개변수화 기법을 제안한다.
• 예측 점수의 渐近적 분포에 중심극한정리를 적용하여, 고차원 극한에서 정규분포로 수렴함을 보인다.
• 예측 점수의 평균과 공분산에 대한 명시적 渐近적 표현을 유도하며, 이를 모델 매개변수와 커널 함수 도함수와 연결한다.
• 가우스 혼합 모델에서 예측한 渐近적 성능과 실제 데이터셋인 MNIST에서의 성능를 비교하여 이론적 프레임워크의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 표본 수와 차원이 모두 커지는 고차원 설정에서, 강력한 이론적 직관을 지닌 기존 그래프 기반 준지도 학습 방법이 왜 실패하는가?
• RQ2 표본 수 n과 차원 p가 모두 크고 비례함에 따라 레이블 전파 알고리즘의 渐近적 행동은 어떠한가?
• RQ3 원칙적이고 데이터 기반의 매개변수화를 통해 기존 방법의 일치성 문제를 어떻게 수정할 수 있는가?
• RQ4 가우스 혼합 모델에 대한 이론적 예측은 실세계 데이터인 MNIST에서의 경험적 성능와 얼마나 일치하는가?
• RQ5 커널 행렬에 포함된 비지도 정보를 고차원 레이블 전파에서 더 효과적으로 활용할 수 있는가?

주요 결과

• 표본 수와 차원이 모두 커지는 고차원 극한에서, 쌍별 거리의 농도 현상으로 인해 기존 그래프 기반 준지도 학습 방법이 일치하지 않게 되며, 핵심적인 유사도 직관이 무너진다.
• 漸近적 분석에서 유도된 새로운 매개변수화 기법은 실제 데이터, 특히 p = 784인 MNIST에서 뚜렷한 성능 향상을 이룬다.
• 가우스 혼합 모델에 대한 이론적 예측이 MNIST에서의 경험적 결과와 밀도 있게 일치함을 확인하여, 渐近적 프레임워크가 실용적인 안내 도구로 기능함을 검증한다.
• 알고리즘의 출력은 渐近적으로 정규분포를 이룬다. 평균과 공분산은 커널 함수 도함수와 데이터 분포 매개변수로 명시적으로 유도된다.
• 커널 행렬의 일부(특히 W(1)uu)만 분류에 의미 있는 기여를 하며, 대부분의 비지도 정보는 기존 설정에서는 기각된다.
• 예측 점수의 잔차 항 zi는 O(√p)의 크기를 가지며, 이는 주로 첫 번째 차수의 渐近적 전개가 주요 신호를 잘 포착하고 있음을 보여주며, 선형화 접근법의 타당성을 검증한다.