[논문 리뷰] Distributed Information Bottleneck Method for Discrete and Gaussian Sources

Iñaki Estella Aguerri, Abdellatif Zaidi|arXiv (Cornell University)|2017. 09. 26.

Wireless Communication Security Techniques참고 문헌 13인용 수 24

한 줄 요약

이 논문은 이산 및 가우시안 소스를 위한 분산 정보 병목(D-IB) 프레임워크를 소개하며, Tishby의 중심집중식 IB를 다수의 인코더를 가진 다수의 인코더로 일반화한다. 정보-비율 영역의 단일 문자 특성화를 수립하고, 압축 비율과 유지된 상호정보량 사이의 최적 트레이드오프를 달성하는 블라히트-아리모토 유사 반복 알고리즘을 개발한다. 가우시안 케이스에서는 가우시안 테스트 채널이 최적임을 증명한다.

ABSTRACT

We study the problem of distributed information bottleneck, in which multiple encoders separately compress their observations in a manner such that, collectively, the compressed signals preserve as much information as possible about another signal. The model generalizes Tishby's centralized information bottleneck method to the setting of multiple distributed encoders. We establish single-letter characterizations of the information-rate region of this problem for both i) a class of discrete memoryless sources and ii) memoryless vector Gaussian sources. Furthermore, assuming a sum constraint on rate or complexity, for both models we develop Blahut-Arimoto type iterative algorithms that allow to compute optimal information-rate trade-offs, by iterating over a set of self-consistent equations.

연구 동기 및 목표

• Tishby의 중심집중식 정보 병목을 다수의 독립적 인코더를 가진 분산 환경으로 확장하기.
• 분산 인코딩 하에서 이산 메모리리스 및 메모리리스 벡터 가우시안 소스에 대한 정보-비율 영역을 특성화하기.
• 압축 비율과 목표 신호에 대한 유지된 정보 사이의 최적 트레이드오프를 계산하기 위한 반복 알고리즘 개발하기.
• 가우시안 소스 케이스에서 가우시안 테스트 채널이 최적임을 증명하고, 이전의 단일 인코더 결과를 일반화하기.
• 이산 및 가우시안 모델에서 정적 해를 위한 자기 일관성 방정식을 가능하게 하는 변분 공식 제공하기.

제안 방법

• 로그라리즘 손실 왜곡 하에서 분산 CEO 소스 코딩 문제와의 연결을 통해 정보-비율 영역의 단일 문자 특성화를 유도한다.
• 변분 미적분을 적용하여 최적화 문제를 공식화하고, 정적 해를 위한 자기 일관성 방정식을 도출한다.
• 이러한 방정식의 고정점 반복을 통해 매개변수를 갱신하는 블라히트-아리모토 유사 반복 알고리즘을 개발한다.
• 가우시안 소스의 경우 알고리즘이 노이즈가 있는 선형 투영의 매개변수를 갱신하는 것으로 단순화되며, 공식 해를 통한 공분산 행렬 갱신이 가능하다.
• MMSE 및 피셔 정보 행렬 바ounds를 사용하여 비율 영역에 대한 외부 바ounds를 유도하며, 이들이 타당함을 입증한다.
• 외부 바ounds가 가우시안 인코딩 분포를 사용할 때 달성 가능함을 보여줌으로써 가우시안 테스트 채널의 최적성을 증명한다.

실험 결과

연구 질문

• RQ1 다수의 인코더를 가진 분산 환경에서 압축 비율과 유지된 정보 사이의 기본 트레이드오프는 무엇인가?
• RQ2 이산 및 가우시안 소스에 대해 단일 문자 형태로 정보-비율 영역을 어떻게 특성화할 수 있는가?
• RQ3 분산 IB 프레임워크에서 최적의 비율-정보 트레이드오프를 계산하기 위한 반복 알고리즘을 설계할 수 있는가?
• RQ4 가우시안 소스 케이스에서 가우시안 테스트 채널이 분산 IB 문제에 대해 최적인가?
• RQ5 압축 비율과 정보 유지 능력 측면에서 분산 인코딩 성능은 중심집중식 IB와 비교해 어떻게 되는가?

주요 결과

• 이산 메모리리스 소스의 정보-비율 영역은 로그라리즘 손실 왜곡 하에서의 CEO 소스 코딩 문제로부터 유도된 단일 문자 표현을 통해 특성화된다.
• 메모리리스 벡터 가우시안 소스의 경우 최적의 인코딩 전략은 가우시안이며, 특정 공분산 구조를 가진 선형 투영을 통해 정보-비율 영역이 특성화된다.
• 제안된 반복 알고리즘은 변분 공식에서 유도된 자기 일관성 방정식을 해결함으로써 최적의 해로 수렴한다.
• 가우시안 케이스에서는 알고리즘이 노이즈가 있는 선형 투영의 매개변수를 갱신하며, 주어진 고정점 반복 스킴 하에서 수렴이 보장된다.
• 수치 결과는 분산 IB 성능이 중심집중식 IB에 가까이 수렴함을 보이며, 특히 합산 비율이 낮을수록 성능 손실이 미미하며, 투영의 차원 변화로 인한 영향을 최소화한다.
• 비율 영역에 대한 외부 바ounds는 타당하며, 가우시안 테스트 채널과 탈도약한 보조 변수 Q를 사용할 때 등호가 성립한다.