[논문 리뷰] Learning Markov models via low-rank optimization

Ziwei Zhu, Xudong Li외 2명|arXiv (Cornell University)|2019. 06. 28.

Sparse and Compressive Sensing Techniques참고 문헌 62인용 수 4

한 줄 요약

이 논문은 경험 추정치 $\widehat{\mathbf{P}}$와 진짜 전이 행렬 $\mathbf{P}$ 사이를 적응적으로 보간하는 강건한 중간 추정치 $\widehat{\mathbf{P}}_{\eta}$를 구성함으로써, 저질서 구조를 가진 마르코프 모델을 학습하기 위한 저질서 최적화 프레임워크를 제안한다. 주요 기여는 저질서 구조와 희박성 가정 하에서 최적의 통계적 속도를 확립하는 비점근적 프로베니우스 노름 오차 한계 $O\left(\left(\frac{r p^2 \pi_{\max} \log p}{n \alpha}\right)^{1/2}\right)$를 도출한 것이다.

ABSTRACT

Modeling unknown systems from data is a precursor of system optimization and sequential decision making. In this paper, we focus on learning a Markov model from a single trajectory of states. Suppose that the transition model has a small rank despite of having a large state space, meaning that the system admits a low-dimensional latent structure. We show that one can estimate the full transition model accurately using a trajectory of length that is proportional to the total number of states. We propose two maximum likelihood estimation methods: a convex approach with nuclear-norm regularization and a nonconvex approach with rank constraint. We explicitly derive the statistical rates of both estimators in terms of the Kullback-Leiber divergence and the $\ell_2$ error and also establish a minimax lower bound to assess the tightness of these rates. For computing the nonconvex estimator, we develop a novel DC (difference of convex function) programming algorithm that starts with the convex M-estimator and then successively refines the solution till convergence. Empirical experiments demonstrate consistent superiority of the nonconvex estimator over the convex one.

연구 동기 및 목표

• 저질서 및 희박성 제약 조건 하에서 마르코프 전이 행렬을 학습하기 위한 통계적으로 최적의 방법을 개발하기 위해.
• 상태 수 $p$가 표본 크기 $n$에 비해 큰 고차원 추정 문제에서의 과제를 해결하기 위해.
• 알 수 없는 오차 크기에 적응하는 강건한 중간 추정치 $\widehat{\mathbf{P}}_{\eta}$를 도입함으로써 추정 정확도를 향상시키기 위해.
• 최소한의 가정 하에서 추정 오차의 프로베니우스 노름에 대한 비점근적 오차 한계를 유도하기 위해.
• 기존의 최소 최대 하한선과의 비교를 통해 제안된 방법의 최적성(optimality)을 확립하기 위해.

제안 방법

• 에러 크기를 기반으로 한계 $R$에 따라 추정 오차를 잘라내는 데 사용되는 $\eta$를 선택함으로써, 중간 추정치 $\widehat{\mathbf{P}}_{\eta} = \mathbf{P} + \eta(\widehat{\mathbf{P}} - \mathbf{P})$를 도입한다.
• 제한된 강력한 볼록성과 기울기 제어 원리를 사용하여 이중 노름과 핵 노름 정규화를 통해 추정 오차를 경계한다.
• 손실 차이에서 부분미분 항을 제어하기 위해 정규 근방 $\Pi_N(\nabla L_n(\mathbf{P}))$를 사용하는 투영 기반 분석을 적용한다.
• 손실 차이와 오차의 핵 노름을 연결하는 연속적인 부등식을 수립함으로써, 결국 저질서 구조를 통해 프로베니우스 노름을 경계한다.
• 오차가 허용 가능한 경계 내에 유지되도록 보장하는 핵심 기준치 $R_0 = \frac{C_4 \beta^2}{\alpha^2} \left(\frac{\xi r p^2 \pi_{\max} \log p}{n \alpha}\right)^{1/2}$를 도출한다.
• Zhang(2018)의 결과를 활용하여 프로베니우스 오차와 칼리브라-라이블러 발산 사이의 연결 고리를 확립함으로써 통계적 일致성(consistency)을 확인한다.

실험 결과

연구 질문

• RQ1 고차원 설정에서 마르코프 전이 행렬에 대해 저질서 최적화 프레임워크가 최적의 추정 속도를 달성할 수 있는가?
• RQ2 진짜 오차 크기를 사전에 알 수 없을 때, 적응적인 중간 추정치 $\widehat{\mathbf{P}}_{\eta}$는 큰 추정 오차에 대해 얼마나 강건한가?
• RQ3 표본 크기 $n$, 차원 $p$, 질서 $r$, 희박성 $\pi_{\max}$ 사이의 최적의 트레이드오프는 무엇이며, 이를 통해 최소 최대 최적 오차 속도를 달성할 수 있는가?
• RQ4 저질서 제약 조건 하에서 핵 노름 정규화는 추정 정확도를 얼마나 향상시키는가?
• RQ5 제안된 방법은 마르코프 모델 추정에 대해 알려진 최소 최대 하한선에 도달하는가?

주요 결과

• 프로베니우스 노름 오차 $\|\widehat{\mathbf{P}} - \mathbf{P}\|_F$는 고확률적으로 $O\left(\left(\frac{r p^2 \pi_{\max} \log p}{n \alpha}\right)^{1/2}\right)$ 이내로 경계되며, 이는 최소 최대 최적 속도와 일치한다.
• 중간 추정치 $\widehat{\mathbf{P}}_{\eta}$는 추정 오차가 항상 기준치 $R_0$ 이내에 머무르도록 보장하여 오차 노름을 엄격하게 제어한다.
• 낮은 질서와 희박한 전이 행렬 가정 하에서 조건이 충족됨에도 불구하고, $p \gg n$ 인 경우에도 최적의 통계적 성능을 달성한다.
• 추정된 모델과 진짜 모델 간의 칼리브라-라이블러 발산은 동일한 속도로 경계되며, 이는 정보 이론적 관점에서의 일致성(consistency)을 확인한다.
• 유도된 기준치 $R_0$는 상수의 차원에서 일반화 가능하며, 질서 $r$, 희박성 $\pi_{\max}$, 표본 크기 $n$ 등 문제의 내재적 복잡도에 따라 결정된다.
• 분석 결과, 핵 노름 정규화가 저질서 구조를 효과적으로 촉진하여 고차원 설정에서 추정 정확도를 향상시킨다는 것이 확인된다.