[논문 리뷰] Recovering Structured Probability Matrices

Qingqing Huang, Sham M. Kakade외 2명|arXiv (Cornell University)|2016. 02. 21.

Machine Learning and Algorithms참고 문헌 48인용 수 4

한 줄 요약

이 논문은 희박한 관측치로부터 저질 확률 행렬을 복원하기 위한 효율적인 알고리즘을 제안하며, 잘린 SVD와 가중 정규화를 통한 구조적 추정을 활용한다. 행렬의 질서가 일정할 때 정확한 복원을 위해 정보 이론적으로 최적인 Θ(M) 개의 샘플이 필요하며, 랭크나 균일성과 같은 기본 성질을 테스트하는 데 있어서 부분선형 샘플 복잡도는 불가능함을 증명한다.

ABSTRACT

We consider the problem of accurately recovering a matrix B of size M by M , which represents a probability distribution over M2 outcomes, given access to an observed matrix of "counts" generated by taking independent samples from the distribution B. How can structural properties of the underlying matrix B be leveraged to yield computationally efficient and information theoretically optimal reconstruction algorithms? When can accurate reconstruction be accomplished in the sparse data regime? This basic problem lies at the core of a number of questions that are currently being considered by different communities, including building recommendation systems and collaborative filtering in the sparse data regime, community detection in sparse random graphs, learning structured models such as topic models or hidden Markov models, and the efforts from the natural language processing community to compute "word embeddings". Our results apply to the setting where B has a low rank structure. For this setting, we propose an efficient algorithm that accurately recovers the underlying M by M matrix using Theta(M) samples. This result easily translates to Theta(M) sample algorithms for learning topic models and learning hidden Markov Models. These linear sample complexities are optimal, up to constant factors, in an extremely strong sense: even testing basic properties of the underlying matrix (such as whether it has rank 1 or 2) requires Omega(M) samples. We provide an even stronger lower bound where distinguishing whether a sequence of observations were drawn from the uniform distribution over M observations versus being generated by an HMM with two hidden states requires Omega(M) observations. This precludes sublinear-sample hypothesis tests for basic properties, such as identity or uniformity, as well as sublinear sample estimators for quantities such as the entropy rate of HMMs.

연구 동기 및 목표

• 희박한 i.i.d. 관측치로부터 M×M 확률 행렬을 정확하게 재구성하는 문제에 대응하기 위해.
• 특히 저질 구조라는 구조적 가정이 매트릭스 복원과 성질 테스트의 샘플 복잡도를 어떻게 감소시키는지 이해하기 위해.
• 희박한 추정에서 계산 가능성과 정보 이론적 한계 사이의 격차를 메우기 위해.
• 랭크나 균일성과 같은 기본 성질을 테스트하기 위해 부분선형 샘플 복잡도가 불가능함을 보여주는 날카로운 하한을 설정하기 위해.
• 협업 필터링, 워드 임베딩, HMM 학습과 같은 응용 분야에 실용적이고 이론적으로 최적인 알고리즘을 제공하기 위해.

제안 방법

• 희박한 환경에서 추정을 안정화하기 위해 대각 행렬 D를 통한 가중 정규화를 사용하여 관측된 카운트 매트릭스를 잘 조절된 형태로 변환한다.
• 낮은 질서 구조를 활용하기 위해 정규화된 매트릭스에 대해 잘린 특이값 분해(SVD)를 적용하여 주요 1차원 성분을 복원한다.
• 잡음에서 신호를 분리하기 위해 부분공간 V 위로의 투영 단계를 사용한 후, 투영된 매트릭스에 대해 1차원 근사법을 적용한다.
• 각 확률 질량의 스케일에 따라 경험적 마진을 기반으로 항목을 버킷화하여 추정 오차를 다양한 척도에서 통제한다.
• 농도 불등식과 스펙트럴 노름 한계를 조합하여 복원된 벡터의 고확률 오차 보장을 유도한다.
• 최종 추정치는 정규화를 역으로 적용하고 ℓ₁ 오차를 최소화하는 특이 벡터의 부호를 선택함으로써 확보된다.

실험 결과

연구 질문

• RQ1 O(M) 개의 샘플로 계산적으로 효율적이고 정보 이론적으로 최적인 방식으로 저질 확률 행렬을 복원할 수 있는가?
• RQ2 구조적 확률 매트릭스의 기본 성질(예: 랭크 1 대비 랭크 2)을 테스트하기 위한 기본 샘플 복잡도의 한계는 무엇인가?
• RQ3 HMM이나 토픽 모델과 같은 구조적 매트릭스의 추정 또는 성질 테스트에 대해 부분선형 샘플 복잡도가 가능한가?
• RQ4 기저 매트릭스의 구조(예: 저질, 잘 조절된 성질)가 추정 및 성질 테스트의 샘플 복잡도에 어떻게 영향을 미치는가?
• RQ5 희박한 데이터 환경에서 정보 이론적 한계에 도달하는 실용적인 알고리즘을 설계할 수 있는가?

주요 결과

• 제안된 알고리즘은 N = O(M / (w_min^4 * ε^9)) 개의 샘플을 사용하여 ℓ₁ 오차가 ϵ 이내로 제한되는 방식으로 기저의 저질 확률 매트릭스를 복원하며, 상수 요소를 제외한 최적의 샘플 복잡도를 달성한다.
• Θ(M)의 샘플 복잡도는 정보 이론적으로 최적이며, 심지어 매트릭스가 랭크 1인지 랭크 2인지 테스트하는 데에도 Ω(M) 개의 샘플이 필요하기 때문이다.
• 더 강력한 하한은 균일 분포와 잘 조절된 이중 상태 HMM을 구분하기 위해 Ω(M) 개의 샘플이 필요함을 보여주며, 이는 부분선형 샘플 가설 검증을 불가능하게 한다.
• 알고리즘은 고확률 복원을 달성하며 오차가 O(√(M/N) + e^(-e^{k₀-2} - k₀)/2 + (1/(e^{k₀} w_min²))^{1/4})로 감소하며, 충분한 샘플이 제공되면 임의로 작게 만들 수 있다.
• 이 방법은 실용적으로 타당하며, 희박한 데이터 환경에서 워드 임베딩 학습 및 협업 필터링과 같은 실제 문제에 적용 가능하다.
• 분석을 통해 복원된 벡터의 ℓ₁ 오차에 대한 날카로운 경계를 확립하였으며, 적절한 샘플링 조건 하에서 진짜 신호로 수렴함을 보여준다.