[논문 리뷰] Approximation of the truncated Zeta distribution and Zipf's law

Maurizio Naldi|arXiv (Cornell University)|2015. 11. 04.

Statistical Distribution Estimation and Applications참고 문헌 4인용 수 5

한 줄 요약

이 논문은 제프의 법칙을 기반으로 하는 잘린 제타 분포를 위한 세 가지 닫힌형 근사법—적분, 평균 적분, 사다리꼴—을 제안한다. 정규화 상수 내의 합을 적분과 수치 적분으로 대체함으로써, 사다리꼴 근사법은 일반적인 제프 매개수에서 상대 오차가 1% 미만이며, 최소 0.1%까지 낮아져 닫힌형 표현식이 없더라도 효율적인 계산을 가능하게 한다.

ABSTRACT

Zipf's law appears in many application areas but does not have a closed form expression, which may make its use cumbersome. Since it coincides with the truncated version of the Zeta distribution, in this paper we propose three approximate closed form expressions for the truncated Zeta distribution, which may be employed for Zipf's law as well. The three approximations are based on the replacement of the sum occurring in Zipf's law with an integral, and are named respectively the integral approximation, the average integral approximation, and the trapezoidal approximation. While the first one is shown to be of little use, the trapezoidal approximation exhibits an error which is typically lower than 1\%, but is as low as 0.1\% for the range of values of the Zipf parameter below 1.

연구 동기 및 목표

• 잘린 제타 분포에 대한 닫힌형 표현식의 부재로 인해 제프의 법칙을 모델링하는 데 실용적으로 제한되는 문제를 해결하기 위해.
• 잘린 제타 분포의 정규화 상수를 위한 정확하고 계산 효율성이 높은 근사법을 개발하기 위해.
• 제프 매개수 α와 종의 수 n의 다양한 값에서 적분 기반 근사법의 정확도를 평가하기 위해.
• 실제 응용에서 제타 분포가 사용되는 분야에서 가장 정확한 근사 방법을 특정하기 위해.

제안 방법

• 잘린 제타 분포의 정규화 상수 내의 합을 적분으로 근사함으로써 적분 근사법을 도출한다.
• 1에서 n까지의 적분과 2에서 n+1까지의 적분을 평균하여 적분 근사법을 개선함으로써 평균 적분 근사법을 도출한다.
• 사다리꼴 법칙을 적용하여 x^(-α)의 적분을 이산 간격에서 근사하고, 경계 효과를 보정하는 보정 항을 포함한다.
• 사다리꼴 근사법을 정규화 상수에 대입하여 확률 질량 함수에 대한 닫힌형 표현식을 유도한다.
• 근사된 확률과 정확한 확률 간의 상대 오차를 정확도 평가의 주요 지표로 사용한다.
• 정확도와 내구성을 평가하기 위해 제프 매개수 α와 종의 수 n의 다양한 값에서 근사법을 시험한다.

실험 결과

연구 질문

• RQ1 적분 기반 방법을 사용할 때 잘린 제타 분포의 정규화 상수는 얼마나 정확하게 근사될 수 있는가?
• RQ2 제안된 세 가지 근사법—적분, 평균 적분, 사다리꼴—중에서 일반적인 제프 매개수 값에서 상대 오차가 가장 낮은 것은 무엇인가?
• RQ3 각 근사법의 오차는 종의 수 n과 제프 매개수 α의 변화에 따라 어떻게 변하는가?
• RQ4 사다리꼴 법칙 근사법은 실용적인 α 값, 특히 1 이하일 경우에 상대 오차가 1% 미만이 될 수 있는가?

주요 결과

• 적분 근사법은 작은 α 값일지라도 상대 오차가 10%를 초과하여 대부분의 응용에 부적합하다.
• 평균 적분 근사법은 α = 2일 때조차도 상대 오차를 10% 이하로 줄여 기본 적분 방법보다 정확도가 향상됨을 보였다.
• 사다리꼴 근사법은 일반적인 제프 매개수 값에서 상대 오차가 1% 이하이며, α < 1일 경우 오차가 최소 0.1%까지 낮아졌다.
• 사다리꼴 근사법의 오차는 종의 수 n이 증가함에 따라 감소하여 대규모 시스템에서 성능이 더 우수함을 시사한다.
• 모든 근사법의 상대 오차는 순위 r에 영향을 받지 않아 모든 순위에서 정확도가 균일하다.
• 사다리꼴 방법가 가장 정확하고 실세계 제프의 법칙 응용—언어학, 경제학, 웹 트래픽 모델링 등—에 가장 실용적이다.