[논문 리뷰] Circumventing the Curse of Dimensionality in Prediction: Causal Rate-Distortion for Infinite-Order Markov Processes

Sarah Marzen, James P. Crutchfield|arXiv (Cornell University)|2014. 12. 09.

Neural dynamics and brain function참고 문헌 67인용 수 5

한 줄 요약

이 논문은 예측적 비율-왜곡 분석에서 차원의 저주를 극복하기 위해 인과적 비율-왜곡 이론을 도입하여 정방향 및 역방향 시간 인과 상태를 사용해 예측적 비율-왜곡을 재구성한다. 이는 장기 과거 시계열을 군집화하지 않고도 자원 효율적이고 정확한 예측을 가능하게 하며, 유한 기억을 가진 은닉 마르코프 모델조차도 전통적 방법보다 뚜렷한 개선을 이룬다.

ABSTRACT

Predictive rate-distortion analysis suffers from the curse of dimensionality: clustering arbitrarily long pasts to retain information about arbitrarily long futures requires resources that typically grow exponentially with length. The challenge is compounded for infinite-order Markov processes, since conditioning on finite sequences cannot capture all of their past dependencies. Spectral arguments show that algorithms which cluster finite-length sequences fail dramatically when the underlying process has long-range temporal correlations and can fail even for processes generated by finite-memory hidden Markov models. We circumvent the curse of dimensionality in rate-distortion analysis of infinite-order processes by casting predictive rate-distortion objective functions in terms of the forward- and reverse-time causal states of computational mechanics. Examples demonstrate that the resulting causal rate-distortion theory substantially improves current predictive rate-distortion analyses.

연구 동기 및 목표

• 장기 과거 시계열을 군집화하는 데 기인한 지수적 자원 증가를 초래하는 예측적 비율-왜곡 분석에서 차원의 저주를 해결하기 위해.
• 완전한 과거 역사 저장이 필요 없이 무한차수 마르코프 과정의 정확한 예측을 가능하게 하는 프레임워크를 개발하기 위해.
• 장기적 시간 상관관계를 가지거나 유한 기억을 가진 은닉 마르코프 모델에서 실패하는 기존 비율-왜곡 방법을 개선하기 위해.
• 인과 상태를 충분통계량으로 사용하여 손실 예측 특징을 원리적으로 계산하는 방법을 수립하기 위해.
• 최대 예측력을 가진 모델을 먼저 식별하는 것이 비율-왜곡 성능을 크게 향상시킬 수 있는지 보여주기 위해.

제안 방법

• 예측적 비율-왜곡 목표를 정방향 시간 인과 상태 $\mathcal{S}^+$ 와 역방향 시간 인과 상태 $\mathcal{S}^-$ 를 사용해 재구성하며, 이는 예측에 대해 최소 충분통계량이다.
• 라그랑주 승수 $\mathcal{L}_\beta$ 의 변분 최적화를 통해 최적의 코드북 $p(r|\sigma^+)$ 를 공식적으로 도출한다. 이는 상호정보량과 왜곡 항을 포함한다.
• 반복적으로 수렴하는 고정점 맵으로서 방정식 $p(r|\sigma^+) = \frac{p(r)}{Z(\sigma^+)} e^{-\beta D_{KL}[p(\sigma^-|\sigma^+)||p(\sigma^-|r)]}$ 를 사용하여 최적의 코드북을 계산한다.
• 장기 과거를 명시적으로 군집화하지 않기 위해 인과 상태 구조를 활용하여 무한차수 마르코프 과정에 이 방법을 적용한다.
• 유도된 방정식을 기반으로 한 수치 알고리즘을 사용하여 손실 인과 상태를 계산하고 예측 성능을 평가한다.
• 표준 비율-왜곡 방법과의 비교를 통해 접근법을 검증하였으며, 정확도 향상과 자원 요구량 감소를 입증하였다.

실험 결과

연구 질문

• RQ1 무한차수 마르코프 과정에 대해 예측적 비율-왜곡 분석을 장기 과거 시계열의 지수적 자원 증가 없이 실현 가능하게 만들 수 있는가?
• RQ2 유한 길이 과거를 군집화하는 것과 비교해 인과 상태를 충분통계량으로 사용할 경우 비율-왜곡 성능이 어떻게 향상되는가?
• RQ3 현재 비율-왜곡 알고리즘이 장기적 시간 상관관계를 가지는 과정이나 유한 기억을 가진 은닉 마르코프 모델에서 어느 정도 실패하는가?
• RQ4 비율-왜곡 프레임워크 내에서 인과 상태와 최적의 손실 예측 특징 간의 관계는 무엇인가?
• RQ5 근사 오차의 함수로서 인과적 비율-왜곡 프레임워크에서 예측 특징의 계층적 구조가 자연스럽게 도출될 수 있는가?

주요 결과

• 인과적 비율-왜곡 프레임워크는 임의로 긴 과거 시계열을 군집화하지 않음으로써 차원의 저주를 성공적으로 회피한다.
• 표준 방법이 실패하는 경우조차도, 특히 유한 기억을 가진 은닉 마르코프 모델에서 예측적 비율-왜곡 성능이 뚜렷이 향상된다.
• 공식적 해 $p(r|\sigma^+) = \frac{p(r)}{Z(\sigma^+)} e^{-\beta D_{KL}[p(\sigma^-|\sigma^+)||p(\sigma^-|r)]}$ 는 최적의 코드북을 계산하기 위한 안정적이고 반복적인 알고리즘을 제공한다.
• 근사 오차가 증가함에 따라 자연스럽게 예측 특징의 계층적 구조가 도출되며, 다른 시스템에서 관찰된 상전이와 유사하다.
• 이 방법은 장기 과거에 대한 지수적 자원 증가를 피하면서도 인과 상태 구조만으로도 정확한 예측을 가능하게 한다.
• 수치 결과는 최대 예측력을 가진 모델을 먼저 식별하는 것이 표준 군집 기반 접근법보다 극적으로 향상된 비율-왜곡 함수를 도출한다는 것을 입증한다.