[논문 리뷰] Sequential decoding for lossless streaming source coding with side information

Hari Palaiyanur, Anant Sahai|ArXiv.org|2007. 03. 23.

Wireless Communication Security Techniques참고 문헌 25인용 수 5

한 줄 요약

이 논문은 디코더에 부가 정보가 존재할 때 손실 없는 스트리밍 소스 부호화를 위한 순차 부호화 체계를 제안한다. 랜덤 시간 변화 트리 부호와 가변 편향을 가진 스택 알고리즘을 사용하며, 지연과 함께 오차 확률이 지수적으로 감소하고 갈라저의 랜덤 부호화 지수와 일치하며, 적절한 편향 설정 하에 계산의 유한한 모멘트를 보장한다. 이는 동일한 성능 보장을 갖는 공동 소스-채널 부호화로 확장 가능하다.

ABSTRACT

The problem of lossless fixed-rate streaming coding of discrete memoryless sources with side information at the decoder is studied. A random time-varying tree-code is used to sequentially bin strings and a Stack Algorithm with a variable bias uses the side information to give a delay-universal coding system for lossless source coding with side information. The scheme is shown to give exponentially decaying probability of error with delay, with exponent equal to Gallager's random coding exponent for sources with side information. The mean of the random variable of computation for the stack decoder is bounded, and conditions on the bias are given to guarantee a finite $ρ^{th}$ moment for $0 \leq ρ\leq 1$. Further, the problem is also studied in the case where there is a discrete memoryless channel between encoder and decoder. The same scheme is slightly modified to give a joint-source channel encoder and Stack Algorithm-based sequential decoder using side information. Again, by a suitable choice of bias, the probability of error decays exponentially with delay and the random variable of computation has a finite mean. Simulation results for several examples are given.

연구 동기 및 목표

• 디코더에만 부가 정보가 존재할 때 이산 메모리리스 소스에 대해 지연에 관계없이 고정 비율의 손실 없는 소스 부호화 시스템을 설계한다.
• 부가 정보가 있는 소스에 대해 순차 부호화를 통해 갈라저의 랜덤 부호화 지수와 일치하는 오차 지수를 달성한다.
• 가변 편향 하에서 스택 알고리즘의 계산 랜덤 변수의 평균 및 고차 모멘트를 유한하게 제한한다.
• 유사한 성능 보장을 유지하면서 공동 소스-채널 부호화로 이 체계를 확장한다.
• 유한한 계산 모멘트와 양의 오차 지수를 보장하는 편향 파라미터 조건을 제공한다.

제안 방법

• 랜덤 시간 변화 트리 부호를 사용하여 소스 문자열을 순차적으로 분류함으로써, 인코더에 부가 정보가 없더라도 고정 비율 압축을 가능하게 한다.
• 디코더에서 부가 정보를 활용하고 소스 시퀀스를 순차적으로 디코딩하기 위해 가변 편향 파라미터를 가진 스택 알고리즘을 적용한다.
• 편향은 오차 지수와 계산 모멘트의 균형을 맞추기 위해 조정되며, 갈라저의 오차 지수 프레임워크를 기반으로 이론적 경계가 유도된다.
• 핵심 식은 조건부 엔트로피와 우도 비율에서 유도된 오차 지수 항 $ E_{si}\left(\theta\right) $, $ F_{si}\left(\theta\right) $, $ G_{si}\left(\theta\right) $ 의 계산을 포함한다.
• 공동 소스-채널 부호화의 경우, $ E_0(\theta) $, $ F(\theta) $, $ G(\theta) $ 를 통해 채널 신뢰도를 통합하고, 성능을 유지하기 위해 편향을 조정한다.
• 제닝스 부등식과 로그 함수의 엄격한 볼록성은 $ 0 \leq \rho \leq 1 $ 에 대해 유한한 $ \rho $-번째 모멘트를 보장하는 엄격한 부등식을 도출하는 데 사용된다.

실험 결과

연구 질문

• RQ1 순차 부호화 체계는 디코더 전용 부가 정보가 존재할 때 손실 없는 소스 부호화에서 지연과 함께 지수적 오차 감소를 달성할 수 있는가?
• RQ2 편향 파라미터에 어떤 조건이 있어야 $ 0 \leq \rho \leq 1 $ 에 대해 계산 랜덤 변수의 $ \rho $-번째 모멘트가 유한한가?
• RQ3 이 체계는 공동 소스-채널 부호화로 확장 가능하며, 지수적 오차 감소와 유한한 계산 모멘트를 유지할 수 있는가?
• RQ4 제안된 체계의 오차 지수는 부가 정보가 있는 소스에 대해 갈라저의 랜덤 부호화 지수와 동일한가?
• RQ5 편향 선택 $ G^* = \frac{1+\gamma}{\gamma}\left[E_{si}(\gamma) - F_{si}(\gamma)\right] $ 이 양의 오차 지수와 유한한 $ \gamma $-번째 계산 모멘트를 동시에 제공하는가?

주요 결과

• 제안된 체계는 지연과 함께 오차 확률이 지수적으로 감소하며, 그 지수는 부가 정보가 있는 소스에 대해 갈라저의 랜덤 부호화 지수와 동일하다.
• 적절한 편향 설정 하에서 스택 디코더의 계산 랜덤 변수의 평균은 유한한 경계를 갖는다.
• $ 0 \leq \rho \leq 1 $ 인 경우, 편향이 비어 있지 않은 열린 구간 $ \left( \frac{1+\gamma}{\gamma}G_{si}(\gamma), \frac{1+\gamma}{\gamma}(\gamma R - F_{si}(\gamma)) \right) $ 내에 있을 때 $ \rho $-번째 모멘트가 유한하다.
• 공동 소스-채널 부호화의 경우, $ \lambda E_0(\gamma) > E_{si}(\gamma) $ 를 만족할 경우 유사한 편향 영역이 지수적 오차 감소와 유한한 계산 모멘트를 보장한다.
• 최적의 편향 $ G^* = \frac{1+\gamma}{\gamma}\left[E_{si}(\gamma) - F_{si}(\gamma)\right] $ 는 양의 오차 지수와 유한한 $ \gamma $-번째 계산 모멘트를 모두 제공한다. 이는 $ U $ 가 적어도 하나의 $ v \in \mathcal{V} $ 에 대해 결정적이지 않다는 가정 하에 성립한다.
• 로그 함수의 엄격한 볼록성과 비결정성 소스의 특성으로 인해 $ G_{si}(\gamma) + F_{si}(\gamma) < E_{si}(\gamma) $ 는 엄격한 부등식으로 성립하며, 이는 편향 구간이 비어 있지 않음을 보장한다.