[논문 리뷰] Analysis of Remaining Uncertainties and Exponents under Various Conditional Rényi Entropies

Vincent Y. F. Tan, Masahito Hayashi|arXiv (Cornell University)|2016. 05. 31.

Wireless Communication Security Techniques참고 문헌 34인용 수 4

한 줄 요약

이 논문은 조건부 레니 엔트로피를 사용하여 슬레피안-울프 소스 코딩에서 남은 불확실성의 渐近적 행동을 분석하며, 새로운 one-shot 경계와 유형 클래스 생성함수의 모멘트 방법을 도입한다. 이는 최대 사후 확률 디코딩 하에서 강력한 반대 제곱수와 오류 제곱수를 일반화하는 불확실성의 지수 감쇠 속도를 밝혀내며, 측정값이 있는 손실 압축에서의 불확실성과 신뢰성 분석을 위한 통합 프레임워크를 제공한다.

ABSTRACT

In this paper, we analyze the asymptotics of the normalized remaining uncertainty of a source when a compressed or hashed version of it and correlated side-information is observed. For this system, commonly known as Slepian-Wolf source coding, we establish the optimal (minimum) rate of compression of the source to ensure that the remaining uncertainties vanish. We also study the exponential rate of decay of the remaining uncertainty to zero when the rate is above the optimal rate of compression. In our study, we consider various classes of random universal hash functions. Instead of measuring remaining uncertainties using traditional Shannon information measures, we do so using two forms of the conditional Rényi entropy. Among other techniques, we employ new one-shot bounds and the moments of type class enumerator method for these evaluations. We show that these asymptotic results are generalizations of the strong converse exponent and the error exponent of the Slepian-Wolf problem under maximum \emph{a posteriori} (MAP) decoding.

연구 동기 및 목표

• 압축된 소스와 관련된 부가 정보를 관측할 때 슬레피안-울프 소스 코딩에서 남은 불확실성의 渐진적 감쇠 속도를 분석하기 위해.
• 샤논 엔트로피 대신 조건부 레니 엔트로피를 사용하여 슬레피안-울프 코딩의 강력한 반대 제곱수와 오류 제곱수를 일반화하기 위해.
• 새로운 one-shot 경계를 개발하고, 불확실성과 그 지수 감쇠를 평가하기 위해 유형 클래스 생성함수의 모멘트 방법을 적용하기 위해.
• 다양한 레니 파라미터 하에서 임의의 보편 해시 함수가 남은 불확실성을 최소화하는 데 미치는 영향을 연구하기 위해.
• 레니 발산과 조건부 엔트로피 측정을 통해 정보 이론적 보안과 소스 코딩에서의 불확실성과 신뢰성 분석을 통합하기 위해.

제안 방법

• 저자는 두 가지 형태의 조건부 레니 엔트로피를 사용한다: $ H_{1+s}(A^n|f(A^n),E^n) $ 와 그 갈라거 형태인 $ H_{1+s}^\uparrow(A^n|f(A^n),E^n) $ 로서, 모호함을 피하기 위해 정밀하게 정의된다.
• 레니 발산과 대규모 편차 기법을 사용하여 식을 단일화하기 위해 남은 불확실성에 대한 새로운 one-shot 경계를 유도한다.
• 유형 클래스 생성함수의 모멘트 방법을 적용하여 불확실성의 지수 감쇠를 분석하며, 특히 임의의 보편 해시 함수의 맥락에서 이를 다룬다.
• 유형 방법과 기울인 분포를 활용하여 압축의 최적 비율과 불확실성 감쇠 지수를 특성화한다.
• 불확실성 감쇠의 최적화를 분석함으로써 $ \Lambda(s,R) $ 의 최적화를 통해 슬레피안-울프 코딩에서 알려진 지수들과 지수적 등가성을 확립한다.
• 부가 정보의 경험적 분포에 대해 평균을 내어 조건부 결과를 유도하며, $ Q_E $-기반 엔트로피와 상대 엔트로피를 사용한다.

실험 결과

연구 질문

• RQ1 남은 불확실성의 지수 감쇠 속도는 슬레피안-울프 코딩에서 강력한 반대 제곱수와 어떻게 관련이 있는가?
• RQ2 최대 사후 확률 디코딩의 오류 제곱수는 레니 기반 불확실성 감쇠의 특수한 경우로 복원될 수 있는가?
• RQ3 레니 엔트로피 측정 기준으로, 남은 불확실성이 점점 줄어들게 하는 최적의 압축 비율은 무엇인가?
• RQ4 다양한 유형의 보편 해시 함수는 부가 정보가 존재할 때 불확실성 감쇠 속도에 어떤 영향을 미치는가?
• RQ5 레니 파라미터 $ s $ 는 압축 비율과 불확실성 간의 트레이드오프를 특성화하는 데 어떤 역할을 하는가?

주요 결과

• 남은 불확실성 $ -\frac{1}{n}\log H_{1+s}(A^n|f(A^n),E^n) $ 의 지수 감쇠 속도가 슬레피안-울프 코딩에서 강력한 반대 제곱수와 오류 제곱수를 모두 일반화함을 보여준다.
• 압축 비율 $ R $ 가 최적 비율 $ H(A|E) $ 를 초과할 경우, 불확실성은 $ \Lambda(s,R) = s(R + D(P_{A|E}^{(t_R)}\|P_{A|E}|Q_E)) $ 로 제어되는 지수 감쇠 속도로 감소하며, 여기서 $ t_R $ 는 $ H(P_{A|E}^{(t_R)}|Q_E) = R $ 를 만족한다.
• $ R < H_{1-s}(A|P_A) $ 이고 $ s \in [0, s_0(A|P_A)] $ 일 경우, 불확실성 감쇠 속도는 유형 클래스 생성함수의 모멘트 방법으로 유도된 하한과 일치하여, 타이트함을 확인한다.
• 이전 결과 [19] 를 일반화하기 위해, 이전의 등기량에서 남은 불확실성으로 초점을 이동시키며, 새로운 one-shot 경계와 대규모 편차 도구가 필요로 한다.
• 부가 정보의 경험적 유형에 대해 평균을 내어 조건부 불확실성 감쇠를 유도하며, 적절한 조건 하에서 $ \Lambda(s,R) = s(R + D(P_{A|E}^{(t_R)}\|P_{A|E}|Q_E)) $ 를 얻는다.
• 분석을 통해 $ \widetilde{\beta}_n \doteq \exp(-n\Lambda(s,R)) $ 를 확인하여, 불확실성 감쇠가 최적화된 $ \Lambda(s,R) $ 에 의해 지수적으로 지배됨을 입증한다.