[논문 리뷰] Lossless compression with state space models using bits back coding

James T. Townsend, Iain Murray|arXiv (Cornell University)|2021. 03. 18.

Gaussian Processes and Bayesian Inference참고 문헌 16인용 수 4

한 줄 요약

이 논문은 상태공간모형(SSM)을 사용하여 순차적 데이터의 손실 없는 압축을 위한 새로운 방법인 IconoCLaSM을 소개한다. 이 방법은 비트백 인코딩을 시간 단위로 교차하여 적용함으로써 모델의 ELBO에 근접한 압축률을 달성하면서도 초깃값 오버헤드가 O(1)에 불과하다. 이 접근법은 깊이 있는 잠재변수 모형과 결합할 경우 비디오와 같은 시계열 데이터에 대해 효율적이고 확장 가능한 압축을 가능하게 한다.

ABSTRACT

We generalize the 'bits back with ANS' method to time-series models with a latent Markov structure. This family of models includes hidden Markov models (HMMs), linear Gaussian state space models (LGSSMs) and many more. We provide experimental evidence that our method is effective for small scale models, and discuss its applicability to larger scale settings such as video compression.

연구 동기 및 목표

• 순차적 데이터를 압축할 때 잠재 마르코프 구조를 가진 모델에서 표준 비트백 인코딩의 높은 초깃값 비트 오버헤드 문제를 해결하기 위해.
• 잠재 마르코프 체인으로 시퀀스를 모델링하는 상태공간모형(SSM)에 비트백과 ANS(BB-ANS) 프레임워크를 확장하기 위해.
• 시간 단위로 인코딩 및 디코딩 단계를 교차시켜 초깃값 오버헤드를 O(1)로 줄임으로써 장기간의 시퀀스에 대한 실용적이고 확장 가능한 손실 없는 압축을 가능하게 하기 위해.
• 장기간의 시퀀스에서 압축률이 모델의 ELBO에 수렴함을 보여주어 영상 압축과 같은 대규모 응용 분야에 적합함을 입증하기 위해.
• 잠재 조건부 분포가 계산 가능한 HMM, LGSSM, 그리고 깊이 있는 잠재변수 모형에 적용 가능한 일반적인 프레임워크를 제공하기 위해.

제안 방법

• 초깃값 오버헤드를 줄이기 위해 상태공간모형 내에서 비트백 인코딩 단계를 시간 단위로 교차시킨 IconoCLaSM 방법을 제안한다.
• 요약된 사후분포의 인수분해를 요구한다: $ Q(z_{1},\text{...},z_{T}|x_{1},\text{...},x_{T}) = Q(z_{T}|x_{1},\text{...},x_{T}) \prod_{t=1}^{T-1} Q(z_{t}|x_{1},\text{...},x_{t},z_{t+1}) $, 이를 통해 역방향 샘플링을 가능하게 한다.
• ANS 인코딩 및 디코딩을 조건부 분포에 대해 푸시/팝 연산을 사용하여 적용한다: $ x_t \rightarrow P(x_t|z_t) $, $ z_t \leftarrow Q(z_t|x_{1..t}, z_{t+1}) $, $ z_t \rightarrow P(z_t|z_{t-1}) $.
• 역순 인코딩 순서를 사용한다: $ z_T $부터 시작하여 $ x_T $, $ z_{T-1} $, ..., $ x_1 $, $ z_1 $ 순서로 진행하여 인코딩 중 비트백을 가능하게 한다.
• 디코딩은 순방향 순서로 진행한다: $ z_1 \leftarrow P(z_1) $, $ x_1 \leftarrow P(x_1|z_1) $, ..., $ z_T \rightarrow Q(z_T|x_{1..T}) $, 이를 통해 시퀀스를 재구성한다.
• 메시지 전달 또는 RNN 기반 추론을 활용하여 필요한 사후조건부 분포를 계산함으로써 HMM 및 깊이 있는 SSM에 적용 가능하게 한다.

실험 결과

연구 질문

• RQ1 잠재 마르코프 구조를 가진 순차적 모형에 비트백 인코딩을 일반화하여 최적에 가까운 압축률을 달성하면서도 최소한의 초깃값 오버헤드를 확보할 수 있는가?
• RQ2 상태공간모형에서 교차 비트백 인코딩을 가능하게 하기 위해 필요한 약간의 사후분포 인수분해 형태는 무엇인가?
• RQ3 장기간의 시퀀스에서 IconoCLaSM의 압축률이 바닐라 BB-ANS와 마찬가지로 ELBO에 수렴하는가?
• RQ4 깊이 있는 잠재변수 모형과 결합했을 때 IconoCLaSM은 실제 시퀀스 데이터(예: 텍스트 또는 영상)에 적용 가능한가?
• RQ5 IconoCLaSM을 계층 모델에 확장하거나 몬테카를로 방법과 조합하여 ELBO를 향상시키는 것은 가능한가?

주요 결과

• 장기간의 시퀀스에서 IconoCLaSM의 압축률은 정보량 $ h(x) $에 수렴하여 최적에 가까운 압축을 달성한다.
• 작은 HMM에서의 실험 결과, 시퀀스 길이 $ T $ 가 증가함에 따라 압축 메시지 길이와 정보량의 비율 $ l(m)/h(x) $ 는 1에 수렴한다.
• 합성 데이터(정확한 HMM 샘플)와 실제 데이터(전쟁과 평화 텍스트) 모두에서 ELBO에 가까운 압축률을 달성한다.
• 초깃값 오버헤드는 시퀀스 길이가 증가함에 따라 감소하며, 이는 오버헤드가 O(1)로 스케일링됨을 보여주며, 이는 확장성에 있어 핵심적이다.
• 모델이 데이터에 완벽하게 적합하지 않더라도 효과적으로 작동함을 입증하였으며, 예를 들어 다른 텍스트 세그먼트에서 훈련된 HMM을 사용해 영어 텍스트를 압축한 결과에서 이를 확인하였다.
• 이 프레임워크는 HMM, 선형 가우시안 SSM, 깊이 있는 잠재변수 모형 등에 일반적으로 적용 가능하며, 필요한 사후조건부 분포가 제공된다면 적용 가능하다.