[논문 리뷰] Renyi extrapolation of Shannon entropy

Karol Życzkowski|ArXiv.org|2003. 05. 12.

Quantum Information and Cryptography참고 문헌 12인용 수 13

한 줄 요약

이 논문은 확률 벡터의 길이 $N$ 이 알려진 상태에서, 샤논 엔트로피를 레니 엔트로피의 두 번째 및 세 번째 순서를 사용하여 범위와 명시적인 외삽 공식을 제시한다. 이 방법은 전체 확률 분포가 확보되지 않은 양자 정보 및 통계역학 분야에서, 레니 엔트로피 $H_2$와 $H_3$만 가용할 경우 샤논 엔트로피를 더 정확하게 추정할 수 있게 하며, 단순한 범위만을 사용하는 것보다 정확도가 향상된다.

ABSTRACT

Relations between Shannon entropy and Renyi entropies of integer order are discussed. For any N-point discrete probability distribution for which the Renyi entropies of order two and three are known, we provide an lower and an upper bound for the Shannon entropy. The average of both bounds provide an explicit extrapolation for this quantity. These results imply relations between the von Neumann entropy of a mixed quantum state, its linear entropy and traces.

연구 동기 및 목표

• 알려진 길이 $N$을 가진 이산 확률 분포에 대해 레니 엔트로피 $H_2$와 $H_3$만 알려진 상태에서 샤논 엔트로피 $H_1$의 하한 및 상한을 유도하는 것.
• $H_2$와 $H_3$를 기반으로 $H_1$에 대한 명시적인 외삽 공식을 제안하여, 단순한 범위보다 정확도를 향상시키는 것.
• 전체 스펙트럼이 가용하지 않은 양자 시스템에서 빈도 추정이 가능한 $\mathrm{Tr} \rho^2$와 $\mathrm{Tr} \rho^3$를 바탕으로 바이너리 엔트로피를 추정할 수 있도록 하는 것.
• 전체 확률 벡터가 확보되지 않은 물리계에서 정보이론적 양을 추정하기 위한 실용적인 도구를 제공하는 것.
• 정수 순서의 레니 엔트로피 간의 관계와 비광범위 엔트로피 및 동역학계에 대한 영향을 명확히 하는 것.

제안 방법

• 확률 벡터의 길이 $N$ 이 알려진 상태에서, 토프소와 하르레모에스가 수립한 부등식을 활용하여, 레니 엔트로피의 두 번째 및 세 번째 순서를 이용해 $H_1$의 범위를 유도한다.
• 하한과 상한의 평균으로 정의된 명시적 외삽 공식(식 32)을 제안하여 $H_1$의 추정 정확도를 향상시킨다.
• 레니 엔트로피를 $L_q$ 노름으로 표현하기 위해 $H_q = \frac{1}{1-q}\ln\left(\sum x_i^q\right)$의 관계를 사용하며, $H_2 = -\ln\left(\sum x_i^2\right)$ 및 $H_3 = \frac{1}{-2}\ln\left(\sum x_i^3\right)$로 표현한다.
• 양자 시스템에 이 범위를 적용하여, $H_1$이 바이너리 엔트로피에 해당하고, $H_2$가 선형 엔트로피에 해당하며, $\mathrm{Tr} \rho^k$가 $\sum x_i^k$에 해당함을 확인한다.
• 크기 $N=10$인 $10^4$개의 랜덤 확률 벡터를 사용하여 수치적으로 방법을 검증하고, 외삽의 오차 분포를 분석한다.
• 이전에 제기된 $H_q$의 $q$에 대한 볼록성 주장에 대해 재검토하여, $H_q$가 반드시 볼록하지 않음을 인정하면서도, 이 범위가 여전히 유효하다고 확인한다.

실험 결과

연구 질문

• RQ1 전체 확률 벡터가 알려지지 않은 상태에서, 레니 엔트로피의 두 번째 및 세 번째 순서 $H_2$와 $H_3$로부터 샤논 엔트로피 $H_1$를 신뢰성 있게 추정할 수 있는가?
• RQ2 확률 벡터의 길이 $N$에 따라 $H_2$와 $H_3$로부터 도출된 $H_1$의 범위는 어떻게 달라지는가?
• RQ3 기반 $H_2$와 $H_3$에 기반한 $H_1$의 외삽 공식의 정확도는 어떻게 되며, 단순한 범위와 비교해 볼 때 어떤가?
• RQ4 레니 엔트로피 $H_q$가 $q$에 대해 볼록하지 않은 경우에도 유도된 범위와 외삽 공식이 여전히 유효한가?
• RQ5 이러한 방법은 $\mathrm{Tr} \rho^2$와 $\mathrm{Tr} \rho^3$만 측정 가능한 양자 시스템에서 바이너리 엔트로피를 추정하는 데 적용 가능한가?

주요 결과

• 확률 벡터의 길이 $N$ 이 알려진 상태에서, $H_2$와 $H_3$로부터 도출된 샤논 엔트로피 $H_1$의 하한 및 상한은 유효하며 적용 가능하다.
• 하한과 상한의 평균으로 정의된 외삽 공식(식 32)은 단순한 범위보다 $H_1$의 추정 정확도를 더 높인다.
• $N=10$인 $10^4$개의 랜덤 벡터를 사용한 수치 시뮬레이션 결과, 외삽된 값 $H_*$의 오차는 중심이 거의 0에 위치한 좁은 분포를 보이며 높은 정밀도를 나타낸다.
• 레니 엔트로피 $H_q$가 $q$에 대해 반드시 볼록하지 않음에도 불구하고, 이 범위와 외삽 공식은 여전히 유효하다. 이는 수정 보고서에서 명확히 밝혀졌다.
• 이 방법은 하브르다-카르바트 및 츠allis 엔트로피와 같은 비광범위 엔트로피로도 확장 가능하며, 선형 엔트로피 $L$은 $S_2$와 동일하다.
• 결과는 직접적으로 양자 시스템에 적용 가능하며, $\mathrm{Tr} \rho^2$와 $\mathrm{Tr} \rho^3$를 측정할 수 있을 때 바이너리 엔트로피를 추정할 수 있도록 한다.