[논문 리뷰] Mutual information, matroids and extremal dependencies

Emmanuel Abbé|arXiv (Cornell University)|2010. 12. 21.

Advanced Wireless Network Optimization참고 문헌 8인용 수 7

한 줄 요약

이 논문은 기초적인 연결 고리를 수립하여 기하학적 이론과 정보 이론 사이의 관계를 증명한다. 이는 기하학적 이론의 랭크 함수가 다중 접근 채널(MAC)의 상호정보량 함수로 표현될 수 있음을 보여주며, 이는 기하학적 이론이 이진수일 때에만 성립한다. 또한 정수 값을 갖는 상호정보량 함수를 가진 MAC에서는 선형 결정론적 채널이 되며, 엔트로피 기반 기하학적 이론은 추가 노이즈 모델을 통해 MAC 기반 기하학적 이론의 특수한 경우로 나타나며, 정보 이론과 조합론의 핵심 개념을 통합한다.

ABSTRACT

In this paper, it is shown that the rank function of a matroid can be represented by a "mutual information function" if and only if the matroid is binary. The mutual information function considered is the one measuring the amount of information between the inputs (binary uniform) and the output of a multiple access channel (MAC). Moreover, it is shown that a MAC whose mutual information function is integer valued is "equivalent" to a linear deterministic MAC, in the sense that it essentially contains at the output no more information than some linear forms of the inputs. These notes put emphasis on the connection between mutual information functionals and rank functions in matroid theory, without assuming prior knowledge on these two subjects. The first section introduces mutual information functionals, the second section introduces basic notions of matroid theory, and the third section connects these two subjects. It is also shown that entropic matroids studied in the literature correspond to specific cases of MAC matroids.

연구 동기 및 목표

• 기하학적 이론의 랭크 함수와 다중 접근 채널(MAC)의 상호정보량 함수 간의 대응 관계를 수립하기 위해.
• 어떤 기하학적 이론이 상호정보량 함수를 통해 표현될 수 있는지 규명하고, 특히 이중 기하학적 이론이 유일한 클래스임을 특정하기 위해.
• MAC에서 정수 값을 갖는 균일한 상호정보량 함수를 가진 경우, 이는 선형 결정론적 MAC와 동일하다는 것을 보여주기 위해.
• 엔트로피 기반 기하학적 이론을 MAC 기반 기하학적 이론과 통합하기 위해, 추가 노이즈 모델을 통해 이들이 MAC 기하학적 이론의 특수한 경우로 나타남을 보여주기 위해.
• 정보 척도와 기하학적 이론 사이의 연결 고리를 제공하는 자가 포함된 소개를 제공하여, 양쪽 분야에 대한 사전 지식이 필요 없도록 하기 위해.

제안 방법

• m명의 사용자가 있는 MAC에 대해 상호정보량 함수(MIF)를 정의하며, 입력의 부분집합과 출력 사이의 상호정보량을 계산하며, 보조 입력 조건 하에 조건부로 측정한다.
• 독립 동일분포의 균일한 입력 분포를 가정함으로써 균일한 상호정보량 함수(UMIF)를 도입하며, 이는 단일 사용자 케이스에서 표준 상호정보량과 일치한다.
• 상호정보량의 연쇄법칙과 반복 분해를 사용하여, 입력 사용자 집합의 모든 부분집합에 대해 MIF 값을 재구성하며, MAC의 구조와 입력의 독립성을 활용한다.
• Pinsker의 부등식과 Markov의 부등식을 적용하여 조건부 분포와 균일 분포 사이의 총 변화 거리의 상한을 구하며, 낮은 상호정보량을 갖는 이진수 랜덤 변수를 근사화할 수 있도록 한다.
• q-아르파 알파벳으로 결과를 확장하기 위해, q-아르파 표현 가능한 기하학적 이론이 q-아르파 MAC의 UMIF와 대응함을 제안한다.
• 엔트로피 기반 기하학적 이론—유한체 위의 랜덤 벡터의 엔트로피 함수에 의해 정의된 다형체—가 추가 노이즈 모델을 갖는 특정 클래스의 MAC 기하학적 이론과 동일하다는 것을 보여준다.

실험 결과

연구 질문

• RQ1 기하학적 이론의 랭크 함수가 다중 접근 채널의 상호정보량 함수로 표현될 수 있는 조건은 무엇인가?
• RQ2 모든 사용자 부분집합에서 정수 값을 갖는 상호정보량 함수를 가진 MAC가 만족해야 할 구조적 특성은 무엇인가?
• RQ3 엔트로피 기반 기하학적 이론(랜덤 벡터의 엔트로피 함수에 의해 정의됨)은 MAC 기반 기하학적 이론과 어떻게 관련되어 있는가?
• RQ4 정수 값을 갖는 상호정보량 함수를 가진 MAC와 선형 결정론적 채널 사이의 연결 고리는 무엇인가?
• RQ5 MAC 표현을 통해 기하학적 이론이 q-아르파 알파벳으로 확장될 수 있는가?

주요 결과

• 기하학적 이론의 랭크 함수는 다중 접근 채널의 상호정보량 함수로 표현될 수 있으며, 이는 기하학적 이론이 이진수일 때에만 성립한다.
• 정수 값을 갖는 균일한 상호정보량 함수를 가진 MAC는 선형 결정론적 MAC와 동일하며, 출력은 입력의 선형 조합 이외의 정보를 포함하지 않는다.
• 독립 동일분포의 이진 입력을 갖는 MAC의 상호정보량 함수는 다형체 공리계를 만족하며, 정수 값을 갖는 경우 기하학적 이론의 구조를 유도한다.
• 엔트로피 기반 기하학적 이론—유한체 위의 랜덤 벡터의 엔트로피 함수에 기반한 다형체—는 추가 노이즈 모델을 갖는 특정 클래스의 MAC 기하학적 이론의 특수한 경우이다.
• 모든 이진 입력을 갖는 MAC의 경우, 연쇄법칙과 반복 분해를 통해 작은 부분집합에서의 값들로부터 상호정보량 함수를 완전히 재구성할 수 있다.
• 이 이론은 q-아르파 알파벳으로 일반화되며, q-아르파 표현 가능한 기하학적 이론은 정확히 q-아르파 MAC의 균일한 상호정보량 함수와 대응한다.