[논문 리뷰] Optimal encoding on discrete lattice with translational invariant constrains using statistical algorithms

Jarek Duda|ArXiv.org|2007. 10. 20.

Cellular Automata and Applications참고 문헌 9인용 수 14

한 줄 요약

이 논문은 이동 대칭성 제약 조건을 가진 이산 격자에서 渐近적으로 최적의 인코딩을 위한 통계적 알고리즘 프레임워크를 제시한다. 최대 엔트로피 랜덤 워크와 비대칭 숫자 체계(Asymmetric Numeral Systems)의 새로운 일반화를 사용하여 이론적 최대에 근접한 데이터 압축을 달성한다. 하드 스퀘어 모델의 경우, 이론적 최대치와 10⁻¹⁰ 비트/노드 이내의 용량을 확보하여, 암호화 및 오류 수정 기능을 내장한 산술 인코딩의 실용적 대안을 제공한다.

ABSTRACT

In this paper will be presented methodology of encoding information in valuations of discrete lattice with some translational invariant constrains in asymptotically optimal way. The method is based on finding statistical description of such valuations and changing it into statistical algorithm, which allows to construct deterministically valuation with given statistics. Optimal statistics allow to generate valuations with uniform distribution - we get maximum information capacity this way. It will be shown that we can reach the optimum for one-dimensional models using maximal entropy random walk and that for the general case we can practically get as close to the capacity of the model as we want (found numerically: lost 10^{-10} bit/node for Hard Square). There will be also presented simpler alternative to arithmetic coding method which can be used as cryptosystem and data correction method too.

연구 동기 및 목표

• 이동 대칭성 제약 조건이 있는 이산 격자에서 渐近적으로 최적의 속도로 정보를 인코딩하는 방법론을 개발하는 것.
• 유효한 구성에 대해 균일한 분포를 가지는 격자 평가의 통계적 기술을 수립하여 정보 용량을 최대화하는 것.
• 원하는 통계적 성질을 가진 평가를 생성하는 실용적이고 결정론적인 알고리즘을 제공하여 고효율 데이터 인코딩을 가능하게 하는 것.
• 비대칭 숫자 체계를 통해 산술 인코딩의 암호화 보안성과 오류 수용성을 확보한 실용적 대안을 제공하는 것.
• 장거리 상관관계가 '합리적인' 모델에서 소멸함을 보여주어 잘 정의된 엔트로피와 최적의 통계적 기술을 정의할 수 있음을 보여주는 것.

제안 방법

• 일차원 모델에서 최대 엔트로피 랜덤 워크를 사용하여 최적의 통계적 기술을 분석적으로 유도하고, 전체 용량을 달성하는 것.
• 단일 테이블 기반의 효율적 압축 및 복원을 가능하게 하는 비대칭 숫자 체계(ANS)로 숫자 체계를 일반화하는 것.
• 국소 제약 조건에서 유도된 전이 행렬의 주된 고유벡터를 계산하기 위해 거듭제곱법을 사용하여 격자 영역의 확률적 평가를 가능하게 하는 것.
• 알고리즘의 행동을 그 기초 확률 분포로 되돌리는 고정점 반복 과정을 사용하여 통계적 기술을 반복적으로 개선하는 것.
• 유한 기억(가령 a,b)을 가진 일차원 스트랩으로 격자를 분해하여 국소 마르코프 과정을 통해 전역 통계의 수치적 근사를 가능하게 하는 것.
• 경계 초기화를 0으로 확장된 스트랩을 사용하여 경계 효과를 최소화하고 목표 통계 분포로의 수렴을 향상시키는 것.

실험 결과

연구 질문

• RQ1 이동 대칭성 제약 조건 하에서 모든 유효한 구성에 대해 균일한 분포를 가지는 격자 평가를 생성할 수 있는 통계적 알고리즘을 구성할 수 있는가?
• RQ2 수치적 통계 기술과 반복적 개선을 통해 제약 조건이 있는 격자 모델의 정보 용량을 어느 정도까지 접근할 수 있는가?
• RQ3 비대칭 숫자 체계는 제약 조건이 있는 격자 인코딩에서 산술 인코딩의 실용적, 안전하고 오류 내성적인 대안으로 기능할 수 있는가?
• RQ4 모든 유효한 구성에 대한 평균 통계 기술이 존재하는 조건은 무엇이며, 이는 장거리 상관관계의 소멸과 어떻게 관련되는가?
• RQ5 유한 범위의 이동 대칭성 제약 조건을 가진 일반적인 격자 모델의 엔트로피는 어떻게 의미 있게 정의하고 계산할 수 있는가?

주요 결과

• 일차원 경우, 최대 엔트로피 랜덤 워크를 사용하여 최적의 통계 기술을 분석적으로 유도하여 전체 용량을 달성한다.
• 이차원 하드 스퀘어 모델의 경우, 수치적으로 확인된 결과 이론적 최대치와 10⁻¹⁰ 비트/노드 이내의 용량을 확보한다.
• 비대칭 숫자 체계의 사용은 내장된 암호화 및 오류 수정 기능을 갖춘 빠른 단일 테이블 압축 및 복원을 가능하게 한다.
• 반복 알고리즘은 고정점 통계 기술로 수렴하며, 추정된 엔트로피와 진짜 엔트로피의 차이는 스트랩 기억(a,b)이 증가함에 따라 로그적으로 감소한다.
• a=5, b=5일 경우, 진짜 엔트로피로부터 오차가 단지 10⁻⁸·⁷² 비트/노드 이내로 나타나 near-optimal 성능임을 시사한다.
• 논문은 경계 효과를 최소화하고 목표 통계 분포로의 수렴을 보장하는 실용적인 초기화 기법(0으로 확장된 스트랩)을 제공한다.