[논문 리뷰] Source Coding with a Side Information "Vending Machine"

Tsachy Weissman, Haim H. Permuter|ArXiv.org|2009. 04. 15.

Wireless Communication Security Techniques참고 문헌 12인용 수 7

한 줄 요약

이 논문은 시스템 자원이 측정 정보 품질에 영향을 주는 상황에서, 행동을 통해 능동적으로 제어할 수 있는 측정 정보를 갖는 소스 부호화를 연구한다. 인코더 및 디코더 행동 설정에 대해 비용 제약 조건 하에서 비용-왜곡-비트 전송률 간의 상호관계를 규명하며, 탐욕적 행동 선택 전략이 최적이 아니며, 최적 해법 간의 시간 공유 전략도 비용 제약 조건 하에서는 부족하다는 것을 보여준다.

ABSTRACT

We study source coding in the presence of side information, when the system can take actions that affect the availability, quality, or nature of the side information. We begin by extending the Wyner-Ziv problem of source coding with decoder side information to the case where the decoder is allowed to choose actions affecting the side information. We then consider the setting where actions are taken by the encoder, based on its observation of the source. Actions may have costs that are commensurate with the quality of the side information they yield, and an overall per-symbol cost constraint may be imposed. We characterize the achievable tradeoffs between rate, distortion, and cost in some of these problem settings. Among our findings is the fact that even in the absence of a cost constraint, greedily choosing the action associated with the `best' side information is, in general, sub-optimal. A few examples are worked out.

연구 동기 및 목표

• 행동이 측정 정보의 가용성, 품질 또는 성격에 영향을 주는 소스 부호화 시스템을 모델링하고 분석하는 것.
• 인코더 또는 디코더가 행동을 취하는 시스템에서 전송률, 왜곡, 행동 비용 간의 기본 상호관계를 규명하는 것.
• 비용 제약 조건 하에서 각 단계에서 최고의 측정 정보를 제공하는 행동을 선택하는 탐욕적 행동 선택 전략이 최적인지 조사하는 것.
• 일반 및 특수 케이스(예: 가우시안 모델 및 마르코프 모델 포함)에 대해 구현 가능한 전송률과 역설적 하한을 제공하는 것.
• 주요 열린 문제를 특정화하는 것—특히 인코더 행동 설정의 완전한 특성화와 측정 정보에 대해 인과적 행동 의존성의 영향을 규명하는 것.

제안 방법

• 메모리 없는 소스 $X^n \sim P_X$ 를 모델링하며, 측정 정보 $Y^n$ 은 소스 및 행동 시퀀스에 의존하는 채널 $P_{Y|X,A}$ 를 통해 생성된다.
• 행동 비용 $\Lambda(A)$ 를 도입하고, 심볼당 비용 제약 조건 $\mathbb{E}[\Lambda(A)] \leq C$ 를 설정한다.
• 디코더 행동 설정(그림 1)의 경우, 마르코프 체인 $X - A - Y$ 와 상호정보량 표현식을 사용하여 구현 가능한 전송률-왜곡-비용 영역을 유도한다.
• 인코더 행동 설정(그림 2)의 경우, 측정 정보가 인코더에 존재하는지 여부에 따라 보조 랜덤 변수 $U$ 또는 $\hat{X}$ 를 활용해 구현 가능한 전송률을 제안한다.
• 일반적인 역설적 하한을 유도: $R \geq I(X;\hat{X}) - I(Y;X,A)$, 이는 인코더 및 디코더 행동 설정 모두에 대해 유효하다.
• 세 가지 특수 케이스에 대해 날카운 하한을 제공한다: (근접한) 손실 없는 압축, 가우시안 모델 ($Y = A + X + N$), 마르코프 모델 $Y - A - X$.

실험 결과

연구 질문

• RQ1 디코더가 측정 정보 품질에 영향을 주는 행동을 선택할 때, 전송률, 왜곡, 행동 비용 간의 최적 상호관계는 무엇인가?
• RQ2 비용 제약 조건이 없을 경우, 최고의 측정 정보를 제공하는 행동을 각 단계에서 선택하는 탐욕적 행동 선택 전략은 최적인가?
• RQ3 행동이 디코더가 아닌 인코더에 의해 수행될 경우, 구현 가능한 전송률 영역은 어떻게 변화하는가?
• RQ4 다른 비용 수준에 최적화된 전략 간의 시간 공유 전략이 최적의 전송률-왜곡-비용 상호관계를 달성할 수 있는가?
• RQ5 행동이 이전에 생성된 측정 정보 기반으로 인과적으로 의존할 경우, 기본 한계는 어떻게 되는가?

주요 결과

• 각 단계에서 가장 높은 품질의 측정 정보를 제공하는 행동을 선택하는 탐욕적 행동 선택 전략은 비용 제약 조건이 없을 경우조차도 최적이 아니다.
• 심볼당 비용 제약 조건이 존재할 경우, 서로 다른 비용 수준에 최적화된 전략 간의 시간 공유 전략은 최적이 아니다.
• 손실 없는 압축, 가우시안 모델, 마르코프 모델 $Y - A - X$ 의 특수 케이스에서 역설적 하한 $R \geq I(X;\hat{X}) - I(Y;X,A)$ 는 날카로운 하한이다.
• 인코더에 측정 정보가 존재하는 인코더 행동 설정의 경우, 적절한 마르코프 조건 및 모멘트 제약 조건 하에서 구현 가능한 전송률은 $I(\hat{X};X|A,Y) + I(X;A) - I(Y;A)$ 이다.
• 인코더에 측정 정보가 존재하지 않는 인코더 행동 설정의 경우, 구현 가능한 전송률은 $I(U;X|A,Y) + I(X;A) - I(Y;A)$ 이며, 여기서 $U$ 는 보조 변수이다.
• 일반적인 역설적 하한 $I(X;\hat{X}) - I(Y;X,A)$ 는 항상 날카로운 하한은 아니며, 표준 윈너-지브 설정에서 반례를 통해 실제 최소 전송률을 과소평가함을 보여준다.