[논문 리뷰] A Natural Law of Succession

Eric Sven Ristad|ArXiv.org|1995. 08. 30.

Algorithms and Data Compression참고 문헌 7인용 수 46

한 줄 요약

이 논문은 유한 알파벳과 비균일 기호 사용에 대한 사전 지식을 통합함으로써 라플라스의 법칙과 리드스톤의 법칙을 능가하는 다항확률 추정을 위한 새로운 '자연법칙의 계승'을 제안한다. 이는 이론적으로도 실험적으로도 예측 오차를 최소화하고 다양한 실세계 파일에서 뛰어난 데이터 압축 성능을 보이며, 문자열 길이와 알파벳 크수에 비례하여 성능 향상이 발생한다.

ABSTRACT

Consider the problem of multinomial estimation. You are given an alphabet of k distinct symbols and are told that the i-th symbol occurred exactly n_i times in the past. On the basis of this information alone, you must now estimate the conditional probability that the next symbol will be i. In this report, we present a new solution to this fundamental problem in statistics and demonstrate that our solution outperforms standard approaches, both in theory and in practice.

연구 동기 및 목표

• 유한 문자열에서 관측된 빈도를 바탕으로 이산 기호의 조건부 확률을 추정하는 기본 문제를 해결하기 위해.
• 자연 데이터에서 기호 사용에 대한 현실적인 가정(비균일한 알파벳 커버리지 포함)을 반영하는 매개변수 없는 확률 모델을 개발하기 위해.
• 과도하게 새로운 사건을 추정하거나 흔한 사건을 과소평가하는 것을 방지하는, 라플라스의 법칙과 리드스톤의 법칙에 대한 이론적으로 탄탄한 대안을 제공하기 위해.
• 데이터 압축 성능을 실증적으로 검증함으로써 예측 정확도의 직접적 측정치로써 신법칙의 열등성을 입증하기 위해.
• 유한 문자열에서 어떤 다른 함수와도 비슷한 비율로 확률을 할당하는 자연법칙의 이론적 강건성을 입증하기 위해.

제안 방법

• 기호 확률에 대한 균일성보다는 알파벳 내 가능한 모든 기호 기수에 대한 균일성을 기반으로 하는 새로운 사전 분포를 제안한다.
• 이 비정보성 사전 분포 하에서 베이지안 추정을 통해 자연법칙의 계승을 유도하며, 공식은 균일 기수의 경우 p(i|n_i, n, k) = (n_i + 1) / (n + k) 이며, 균일 부분집합에 대해서는 보다 정교한 형태를 취한다.
• 시간 시계열 예측 및 분류에서 다항확률 추정에 법칙을 적용하여 상태 전이 및 클래스 소속 확률을 모델링한다.
• 캘거리 코퍼스에서의 데이터 압축 성능을 평가하여 자연법칙을 라플라스의 법칙, 리드스톤의 법칙 및 네 가지 수시 조정 규칙과 비교한다.
• 실험적 엔트로피를 하한으로 사용하고, 경험 분포 대비 압축 이득을 바이트 단위로 측정한다.
• 불안정한 파일(예: 'progl'과 'pic')의 실패 케이스를 분석하여 강건성과 한계를 평가한다.

실험 결과

연구 질문

• RQ1 유한 문자열에 대한 다항확률 추정에서, 라플라스의 법칙과 리드스톤의 법칙을 어떻게 개선할 수 있는가?
• RQ2 유한 문자열에서 모든 알파벳 기호가 나타나지 않는다는 자연스러운 가정을 가장 잘 반영하는 사전 분포는 무엇인가?
• RQ3 이론과 실천에서 표준 방법을 능가하는 매개변수 없는 계승 법칙이 존재하는가?
• RQ4 자연법칙은 실세계 데이터 압축 작업에서 예측 오차를 어느 정도 감소시키는가?
• RQ5 압축 효율성 측면에서 자연법칙의 성능은 수시 조정 규칙과 어떻게 비교되는가?

주요 결과

• 특히 균일 기수 변형인 자연법칙의 계승은 캘거리 코퍼스에서 최고의 전체 압축 성능을 기록했으며, 'bib' 파일에서 라플라스의 법칙보다 최대 177 바이트의 이득을 보였다.
• 자연법칙은 캘거리 코퍼스의 19개 파일 전반에서 항상 1위 또는 2위를 차지했으며, 균일 기수 법칙이 가장 효과적이었고, 균일 부분집합 법칙이 뒤이었다.
• 라플라스의 법칙은 전체적으로 가장 열등했으며, 특히 새로운 기호가 흔하지 않은 경우, 끝없이 증가하는 압축 손실을 보였다.
• 'pic' 파일은 첫 52,422 바이트 내에서 오직 세 개의 고유 기호만 포함하고 있어 자연법칙이 약간 열등하게 작동했지만, 이는 방법의 결함이 아니라 파일의 비정상성 때문으로 기인된다.
• 자연법칙의 총 확률 할당은 어떤 다른 확률 함수와도 일정한 비율 내에서 할당되며, 이는 이론적으로도 이 법칙이 유한 문자열에 대해 강건함을 증명한다.
• 네 가지 대안 중에서 메서드 D가 가장 뛰어나지만, 여전히 'bib'와 'book1'과 같은 구조화된 파일에서는 자연법칙에 크게 뒤져 있었다.