[논문 리뷰] Concentration of Measure Inequalities in Information Theory, Communications and Coding (Second Edition)

Maxim Raginsky, Igal Sason|arXiv (Cornell University)|2012. 12. 19.

Wireless Communication Security Techniques참고 문헌 4인용 수 14

한 줄 요약

이 두 번째 판은 정보 이론적 기초와 통신 및 코딩 분야의 응용을 강조하면서 현대의 체중 측정 불등식을 종합적으로 조망한다. 마팅게일 및 엔트로피 방법—특히 로그 소볼레프 불등식과 운반 비용 불등식을 통해—는 날카운 농도 경계를 유도하기 위한 통합된 프레임워크로 제시되며, 코딩 이론, 강력한 역설, 양호한 코드의 경험 분포에 대한 새로운 결과를 포함한다.

ABSTRACT

During the last two decades, concentration inequalities have been the subject of exciting developments in various areas, including convex geometry, functional analysis, statistical physics, high-dimensional statistics, pure and applied probability theory, information theory, theoretical computer science, and learning theory. This monograph focuses on some of the key modern mathematical tools that are used for the derivation of concentration inequalities, on their links to information theory, and on their various applications to communications and coding. In addition to being a survey, this monograph also includes various new recent results derived by the authors. The first part of the monograph introduces classical concentration inequalities for martingales, as well as some recent refinements and extensions. The power and versatility of the martingale approach is exemplified in the context of codes defined on graphs and iterative decoding algorithms, as well as codes for wireless communication. The second part of the monograph introduces the entropy method, an information-theoretic technique for deriving concentration inequalities. The basic ingredients of the entropy method are discussed first in the context of logarithmic Sobolev inequalities, which underlie the so-called functional approach to concentration of measure, and then from a complementary information-theoretic viewpoint based on transportation-cost inequalities and probability in metric spaces. Some representative results on concentration for dependent random variables are briefly summarized, with emphasis on their connections to the entropy method. Finally, we discuss several applications of the entropy method to problems in communications and coding, including strong converses, empirical distributions of good channel codes, and an information-theoretic converse for concentration of measure.

연구 동기 및 목표

• 정보 이론적 기초에 중점을 두고 체중 측정 불등식에 대한 통합적이고 깊이 있는 다루기를 제공한다.
• 전통적인 확률론적 도구와 코딩 이론 및 통신 시스템 분야의 현대적 응용을 연결한다.
• 의존적인 랜덤 변수에 대한 농도에 대한 새로운 결과와 그 코딩 및 정보 이론 분야에 미치는 영향을 제시한다.
• 강력한 역설과 채널 코드의 경험 분포에 응용된 사례를 통해 엔트로피 방법의 힘을 보여준다.
• 운반 비용 불등식과 로그 소볼레프 불등식과 같은 정보 이론적 도구를 사용하여 기존의 체중 측정 불등식을 확장하고 정밀화한다.

제안 방법

• 의존적인 랜덤 변수에 대한 체중 측정 불등식을 도출하기 위해 마팅게일 방법을 적용한다. 특히 그래프 모델과 반복 복원 알고리즘에서의 응용을 중심으로 한다.
• 로그 소볼레프 불등식을 통한 엔트로피 방법을 기능적 접근법으로서 체중 측정 불등식에 도입한다.
• 운반 비용 불등식과 메트릭 공간 확률론을 사용하여 체중 측정을 재해석함으로써 정보 이론적 발산과 연결한다.
• 상대 엔트로피와 피셔 정보를 사용하여 고차원 및 의존적인 설정에서의 편차 경계를 정량화한다.
• 정보 이론적 도구와 확률론적 불등식을 조합하여 정보 이론에서의 강력한 역설을 도출한다.
• 엔트로피 방법을 사용하여 양호한 채널 코드의 경험 분포를 분석함으로써 일반적인 행동 주변으로의 집중을 보여준다.

실험 결과

연구 질문

• RQ1 엔트로피 방법은 고차원 및 의존적인 설정에서 체중 측정 불등식을 체계적으로 유도할 수 있는가?
• RQ2 로그 소볼레프 불등식과 정보 이론적 맥락에서의 체중 측정 불등식 간의 관계는 무엇인가?
• RQ3 운반 비용 불등식과 메트릭 공간 확률론은 코딩 및 통신 시스템에서의 체중 측정 분석을 어떻게 향상시키는가?
• RQ4 엔트로피 방법은 정보 이론에서 어떤 방식으로 강력한 역설을 도출할 수 있는가?
• RQ5 양호한 채널 코드의 경험 분포는 일반 분포 주변으로 어떻게 집중하는가? 이는 코드 설계에 어떤 의미를 갖는가?

주요 결과

• 로그 소볼레프 불등식에 기반한 엔트로피 방법은 날카운 농도 불등식을 도출하기 위한 강력하고 유연한 프레임워크를 제공한다.
• 엔트로피 방법을 통해 도출된 체중 측정 불등식은 정보 이론에서 강력한 역설을 도출하며, 통신 속도의 기본 한계를 확립한다.
• 양호한 채널 코드의 경험 분포는 일반 분포 주변으로 매우 견고하게 집중되며, 이는 코딩 정리에서 일반 시퀀스의 사용을 정당화한다.
• 마팅게일 접근법은 그래프 코드와 반복 복원에서의 농도를 효과적으로 포착하여 무선 통신 시스템의 성능 분석을 가능하게 한다.
• 운반 비용 불등식은 정보 이론적 발산과 메트릭 공간에서의 농도 사이에 견고한 연결 고리를 제공한다.
• 의존적인 랜덤 변수에 대한 새로운 결과는 엔트로피 방법이 독립적인 설정을 초월하여 구조적 코딩 및 신호 처리 분야에 응용 가능함을 보여준다.