[논문 리뷰] Distributed Source Coding for Interactive Function Computation

Nan Ma, Prakash Ishwar|ArXiv.org|2008. 01. 04.

Cellular Automata and Applications참고 문헌 9인용 수 12

한 줄 요약

이 논문은 두 단말기에서 번갈아 가며 메시지를 주고받는 상호작용형 분산 소스 코딩을 통한 함수 계산에서의 속도 영역에 대한 계산 가능한 특성화를 개발한다. 상호작용은 총 통신 비용을 크게 감소시킬 수 있음을 보여주며, 특히 양단에서 함수를 계산할 경우에 특히 그렇다. 독립적인 베르누이 소스의 부울 AND 함수에 대해 두 차원 적분을 이용한 무한 메시지의 합속도 표현식을 제공한다.

ABSTRACT

A two-terminal interactive distributed source coding problem with alternating messages for function computation at both locations is studied. For any number of messages, a computable characterization of the rate region is provided in terms of single-letter information measures. While interaction is useless in terms of the minimum sum-rate for lossless source reproduction at one or both locations, the gains can be arbitrarily large for function computation even when the sources are independent. For a class of sources and functions, interaction is shown to be useless, even with infinite messages, when a function has to be computed at only one location, but is shown to be useful, if functions have to be computed at both locations. For computing the Boolean AND function of two independent Bernoulli sources at both locations, an achievable infinite-message sum-rate with infinitesimal-rate messages is derived in terms of a two-dimensional definite integral and a rate-allocation curve. A general framework for multiterminal interactive function computation based on an information exchange protocol which successively switches among different distributed source coding configurations is developed. For networks with a star topology, multiple rounds of interactive coding is shown to decrease the scaling law of the total network rate by an order of magnitude as the network grows.

연구 동기 및 목표

• 두 단말기에서 번갈아 가며 메시지를 주고받는 상호작용형 분산 소스 코딩과 양단에서의 함수 계산을 위한 실현 가능한 속도 영역를 특성화하는 것.
• 함수 계산을 위한 통신 비용을 줄이는 데 있어 상호작용의 역할을 조사하며, 비상호작용 방식과의 비교를 포함한다.
• 함수의 구조와 소스의 분포에 따라 상호작용이 유용한지 또는 무의미한지 분석하는 것.
• 두 개의 독립적인 베르누이 소스의 부울 AND 함수를 위한 무한 메시지 합속도 표현식을 두 차원 정적분을 통해 유도하는 것.
• 다양한 분산 소스 코딩 구성 간의 동적 전환을 기반으로 한 일반적인 다단말기 상호작용 함수 계산 프레임워크를 개발하는 것.

제안 방법

• 각 메시지 속도가 이전 메시지와 소스 샘플에 따라 달라지는 t번의 번갈아 메시지 교환을 포함하는 일반적인 두 단말기 상호작용 코딩 모델을 제안한다.
• 일반적인 메시지 수에 대해 속도 영역를 계산 가능한 특성화로 유도하기 위해 단일 문자 정보 측도를 사용한다.
• 특히 조건부 엔트로피와 상호정보량 항을 활용하여 합속도를 유계로 제한하기 위해 정보이론적 부등식과 마르코프 체인 제약 조건을 적용한다.
• 보조 랜덤 변수와 레이블링 함수 φ(U^t)를 도입하여 입력 공간의 영역을 함수 출력 기반으로 분류함으로써 엔트로피 분해를 가능하게 한다.
• 하나의 매개변수 λ에 대해 최소화함으로써 무한 메시지 합속도의 하한을 도출하며, 이는 이진 엔트로피 함수를 포함한 닫힌 형태의 표현식으로 이어진다.
• Slepian-Wolf와 Wyner-Ziv 코딩 구성 간의 동적 전환을 가능하게 하는 정보 교환 프로토콜을 기반으로 한 다단말기 프레임워크를 개발하여 비용 할당을 최적화한다.

실험 결과

연구 질문

• RQ1 무한 메시지가 존재하더라도 상호작용이 분산 함수 계산에 언제 도움이 되고, 언제 무의미한가?
• RQ2 함수의 구조(예: 부울 AND)와 소스 분포가 함께 상호작용으로 인한 속도 절감에 어떤 영향을 미치는가?
• RQ3 두 개의 독립적인 베르누이(p) 및 베르누이(q) 소스의 부울 AND 함수를 무한 라운드의 상호작용을 통해 계산할 때의 최소 실현 가능한 합속도는 얼마인가?
• RQ4 다단말기 네트워크에서 상호작용은 총 네트워크 속도의 스케일링 법칙을 어떻게 줄일 수 있으며, 그 정도는 어느 정도인가?
• RQ5 보조 랜덤 변수와 메시지 레이블링의 역할은 상호작용 함수 계산의 속도 영역 특성화에 어떤 영향을 미치는가?

주요 결과

• 항성 구조 네트워크에서 네트워크가 커질수록 상호작용으로 총 통신 비용이 수십 배 감소하며, 스케일링 법칙이 크게 향상된다.
• 두 개의 독립적인 베르누이(p) 및 베르누이(q) 소스의 부울 AND 함수를 양단에서 계산할 경우, 무한 메시지 합속도는 $ h_2(p) + h_2(q) - (1 - pq) h_2\big(\frac{(1-p)(1-q)}{1 - pq}\big) $ 로 하한이 있으며, 이는 극한에서 등호로 달성 가능하다.
• 함수가 대칭이고 소스가 독립일 경우, 단일 단말기에서의 함수 계산에는 무한 메시지가 존재하더라도 상호작용이 무의미하지만, 양단에서 함수를 계산할 경우 상호작용이 필수적이다.
• t메시지 상호작용의 속도 영역는 단일 문자 정보 측도를 통해 특성화되며, 실현 가능한 속도에 대한 계산 가능하고 날카로운 경계를 제공한다.
• 보조 변수와 레이블링 함수 φ(U^t)의 사용은 공동 엔트로피의 분해를 가능하게 하여 단일 매개변수 λ에 대한 다루기 쉬운 최적화 문제로 이어진다.
• 다양한 분산 소스 코딩 구성 간의 순차적 전환을 통해 프레임워크를 다단말기 네트워크로 일반화함으로써, 다수의 노드 간 효율적인 비용 할당이 가능해진다.