[논문 리뷰] PSD Representations for Effective Probability Models

Alessandro Rudi, Carlo Ciliberto|arXiv (Cornell University)|2021. 06. 30.

Statistical Methods and Inference참고 문헌 30인용 수 4

한 줄 요약

이 논문은 긍정 준정재성(PSD) 모델을 새로운 프레임워크로 도입하여 동시에 최적의 근사 및 학습 속도를 보장하고, 행렬 연산을 통한 닫힌 형태의 합과 곱 규칙을 효율적으로 계산하며, 비음성(non-negativity)을 확보함으로써 기존 혼합 모델이나 지수족과 같은 전통적 모델에서 흔히 볼 수 있는 표현력과 계산 효율성 사이의 상충관계를 해결한다.

ABSTRACT

Finding a good way to model probability densities is key to probabilistic inference. An ideal model should be able to concisely approximate any probability while being also compatible with two main operations: multiplications of two models (product rule) and marginalization with respect to a subset of the random variables (sum rule). In this work, we show that a recently proposed class of positive semi-definite (PSD) models for non-negative functions is particularly suited to this end. In particular, we characterize both approximation and generalization capabilities of PSD models, showing that they enjoy strong theoretical guarantees. Moreover, we show that we can perform efficiently both sum and product rule in closed form via matrix operations, enjoying the same versatility of mixture models. Our results open the way to applications of PSD models to density estimation, decision theory and inference.

연구 동기 및 목표

• 확률 모델링에서 오랫동안 지속된 표현력과 계산 효율성 사이의 상충관계를 해결하기 위해.
• 복잡한 확률 밀도를 간결하게 근사할 수 있고, 근사적이고 효율적인 연산(예: 근사화 및 곱 규칙)을 지원하는 모델 클래스를 개발하기 위해.
• PSD 모델에서의 근사 및 일반화에 대한 이론적 보장을 수립하기 위해.
• 정확도를 잃지 않으면서 모델 복잡도를 제어할 수 있는 압축 기법을 제공하기 위해.

제안 방법

• 최근 제안된 긍정 준정재성(PSD) 모델의 클래스를 활용하여, 혼합 모델을 일반화함과 동시에 결과 함수의 비음성을 유지하면서도 음수 가중치를 允허하는 방식을 채택한다.
• 밀도의 부드러움 클래스를 사용하여 PSD 모델의 근사 및 학습 성질을 특성화하며, $ \mathbb{R}^d $ 위에서 $ \beta $-번 미분 가능한 밀도에 대해 순차적 최소 최대 최적 속도인 $ n^{-\beta/(2\beta+d)} $ 의 순서를 도출한다.
• 합과 곱 규칙을 닫힌 형태의 행렬 연산으로 공식화한다: 근사화는 행렬의 추적(trace)와 셔르 곱(Schur product)을 통해, 곱셈은 텐서 곱과 셔르 곱을 통해 수행된다.
• PSD 커널 행렬의 저랭크 근사에 기반한 압축 방법을 도입하여 구성 요소의 수를 제어하면서도 정확도를 유지한다.
• 모든 연산(관측, 전이, 근사화, 정규화)이 행렬 대수를 사용해 닫힌 형태로 수행되는 바탕으로, 추론 작업(예: 은닉 마르코프 모델(HMMs))에 프레임워크를 적용한다.
• 이론적 유도를 통해 모든 연산이 PSD 모델 구조를 유지함을 보이며, 일관된 매개변수화를 통한 반복 추론이 가능하다.

실험 결과

연구 질문

• RQ1 PSD 모델은 밀도 추정에서 최적의 학습 속도를 달성하면서도 확률적 연산의 계산 효율성을 유지할 수 있는가?
• RQ2 혼합 모델과 지수족에 비해 PSD 모델은 근사력과 계산 가능성 측면에서 어떻게 비교되는가?
• RQ3 PSD 프레임워크 내에서 합과 곱 규칙을 정확하고 효율적으로 닫힌 형태로 수행할 수 있는가?
• RQ4 대상 밀도의 부드러움과 PSD 모델에 필요한 구성 요소 수 사이의 이론적 관계는 무엇인가?
• RQ5 일반성이나 효율성을 잃지 않고서도 HMM과 같은 순차적 추론 작업에 PSD 모델을 효과적으로 적용할 수 있는가?

주요 결과

• PSD 모델은 $ \beta $-번 미분 가능한 밀도에 대해 순차적 최소 최대 최적 속도인 $ n^{-\beta/(2\beta+d)} $ 의 순서를 달성하며, $ \beta \geq d $ 일 경우 차원의 저주를 극복한다.
• 모델은 셔르 곱과 추적 연산을 포함한 행렬 연산을 통해 정확하고 효율적인 합 및 곱 규칙을 지원하며, 닫힌 형태의 추론을 가능하게 한다.
• PSD 모델은 $ m = O(\varepsilon^{-d/\beta}) $ 개의 구성 요소로 비음성이고 부드러운 밀도를 어떤 것도 근사할 수 있으며, 간결한 표현을 달성한다.
• HMM에서의 순차적 베이지안 추론이 가능하며, 관측, 전이, 근사화, 정규화 등 모든 단계가 행렬 대수를 사용해 닫힌 형태로 계산된다.
• 저랭크 근사를 기반으로 한 압축 방법을 통해 모델 복잡도를 제어하면서도 근사 정확도와 이론적 보장을 유지할 수 있다.
• 음수 가중치를 허용함에도 불구하고 선형 조합의 결과로 얻어진 모델이 항상 유효한 확률 밀도(전체 영역에서 비음성)를 유지하므로, 전통적 혼합 모델의 핵심 한계를 해결한다.