[논문 리뷰] Non-Asymptotic Converse Bounds and Refined Asymptotics for Two Lossy Source Coding Problems

Lin Zhou, Mehul Motani|arXiv (Cornell University)|2017. 08. 18.

Wireless Communication Security Techniques참고 문헌 44인용 수 4

한 줄 요약

이 논문은 다중 단말 손실 있는 소스 코딩 문제인 Kaspi 문제와 Fu-Yeung 문제에 대해 비점근적 역방향 경계와 정밀한 점근적 근사치를 개발한다. 왜곡 기울인 정보 밀도를 도입하고 최적의 테스트 채널 성질을 활용하여, Berry-Esseen 정리와 특화된 타입 커버링 보조정리를 사용하여 이산 메모리리스 소스에 대해 비점근적 역방향 경계와 제2차, 대규모 및 중간 규모의 확률적 점근적 성질을 도출한다.

ABSTRACT

In this paper, we revisit two multi-terminal lossy source coding problems: the lossy source coding problem with side information available at the encoder and one of the two decoders, which we term as the Kaspi problem (Kaspi, 1994), and the multiple description coding problem with one semi-deterministic distortion measure, which we refer to as the Fu-Yeung problem (Fu and Yeung, 2002). For the Kaspi problem, we first present the properties of optimal test channels. Subsequently, we generalize the notion of the distortion-tilted information density for the lossy source coding problem to the Kaspi problem and prove a non-asymptotic converse bound using the properties of optimal test channels and the well-defined distortion-tilted information density. Finally, for discrete memoryless sources, we derive refined asymptotics which includes the second-order, large and moderate deviations asymptotics. In the converse proof of second-order asymptotics, we apply the Berry-Esseen theorem to the derived non-asymptotic converse bound. The achievability proof follows by first proving a type-covering lemma tailored to the Kaspi problem, then properly Taylor expanding the well-defined distortion-tilted information densities and finally applying the Berry-Esseen theorem. We then generalize the methods used in the Kaspi problem to the Fu-Yeung problem. As a result, we obtain the properties of optimal test channels for the minimum sum-rate function, a non-asymptotic converse bound and refined asymptotics for discrete memoryless sources. Since the successive refinement problem is a special case of the Fu-Yeung problem, as a by-product, we obtain a non-asymptotic converse bound for the successive refinement problem, which is a strict generalization of the non-asymptotic converse bound for successively refinable sources (Zhou, Tan and Motani, 2017).

연구 동기 및 목표

• 다중 단말 손실 있는 소스 코딩에서 Kaspi 문제와 Fu-Yeung 문제에 대한 비점근적 역방향 경계를 수립하기 위해.
• 이 문제들에 대해 이산 메모리리스 소스에 대해 제2차, 대규모 및 중간 규모의 확률적 점근적 근사치—즉, 정밀한 점근적 근사치를 도출하기 위해.
• 왜곡 기울인 정보 밀도의 개념을 Kaspi 문제로 일반화하고 최적의 테스트 채널 성질을 활용하여 더 날카운 경계를 확보하기 위해.
• 이러한 방법을 특수한 경우로 성공적 보완 문제에 적용하여 이전의 비점근적 경계를 엄밀히 일반화하기 위해.
• 유한 블록길이 분석 기법을 사용하여 점근적 영역을 초월한 비율-왜곡 상호작용을 분석하는 통합 프레임워크를 제공하기 위해.

제안 방법

• Kaspi 문제에 특화된 일반화된 왜곡 기울인 정보 밀도를 도입하여 표준 손실 있는 소스 코딩에서의 개념을 확장하기 위해.
• 변분 최적화와 라그랑주 이중성 기법을 사용하여 Kaspi 문제와 Fu-Yeung 문제의 최적 테스트 채널 성질를 특성화하기 위해.
• 최적 테스트 채널 성질과 왜곡 기울인 정보 밀도, 그리고 농도 불등식을 조합하여 비점근적 역방향 경계를 유도하기 위해.
• 비점근적 역방향 경계에 Berry-Esseen 정리를 적용하여 명시적인 분산 항을 포함한 제2차 점근적 성질을 확립하기 위해.
• 성취 가능성 증명을 뒷받침하기 위해 Kaspi 문제 전용의 타입 커버링 보조정리를 개발하고, 왜곡 기울인 밀도의 타일러 전개를 수행하기 위해.
• 이 방법을 Fu-Yeung 문제로 일반화하여 최소 합산 비트 전달률 함수에 대한 비점근적 경계와 정밀한 점근적 성질를 도출하기 위해.

실험 결과

연구 질문

• RQ1 공동 왜곡 제약 조건 하에서 Kaspi 문제의 최적 테스트 채널의 구조적 성질은 무엇인가?
• RQ2 일반화된 왜곡 기울인 정보 밀도를 사용하여 Kaspi 문제에 대한 비점근적 역방향 경계는 어떻게 도출할 수 있는가?
• RQ3 이산 메모리리스 소스에서 Kaspi 문제에 대한 제2차, 대규모 및 중간 규모의 확률적 점근적 성질은 무엇인가?
• RQ4 Kaspi 문제에 대해 개발된 방법을 Fu-Yeung 문제로 확장하여 유사한 비점근적 및 점근적 결과를 도출할 수 있는가?
• RQ5 성공적 보완 문제에 대해 유도된 비점근적 역방향 경계는 기존 문헌의 경계와 비교하여 어떻게 다른가?

주요 결과

• 왜곡 기울인 정보 밀도와 최적 테스트 채널 성질을 활용하여 Kaspi 문제에 대한 비점근적 역방향 경계가 수립되었다.
• 비점근적 역방향 경계에 Berry-Esseen 정리를 적용하여 제2차 점근적 성질이 도출되었고, 분산 항이 명시적으로 산출되었다.
• Kaspi 문제의 성취 가능성 증명은 새로운 타입 커버링 보조정리와 왜곡 기울인 정보 밀도의 타일러 전개에 기반한다.
• 이 방법은 Fu-Yeung 문제로 일반화되어 최소 합산 비트 전달률 함수에 대한 비점근적 역방향 경계와 정밀한 점근적 성질를 도출하였다.
• 부산물로 성공적 보완 문제에 대한 비점근적 역방향 경계가 확보되었으며, 이는 Zhou, Tan, and Motani (2017)의 이전 경계를 엄밀히 일반화한다.
• 유도된 경계는 날카롭고 명시적으로 유한 블록길이 효과를 반영하여 점근적 영역을 초월한 비율-왜곡 상호작용의 정밀한 특성화를 가능하게 한다.