[논문 리뷰] On the error probability of stochastic decision and stochastic decoding

Jun Muramatsu, Shigeki Miyake|arXiv (Cornell University)|2017. 01. 18.

Error Correcting Code Techniques참고 문헌 10인용 수 3

한 줄 요약

이 논문은 사후 분포 기반의 확률적 결정의 오차 확률이 최적의 최대 사후 확률(MAP) 결정의 오차 확률의 최대 두 배임을 입증한다. 사후 분포에서 i.i.d. 표본을 추출하고 가장 가능성이 높은 시퀀스를 선택함으로써, 확률적 결정의 오차 확률은 시퀀스 길이가 증가함에 따라 지수적으로 MAP 오차율에 수렴하며, 이는 소스 부호 및 채널 부호에 대한 효율적인 확률적 디코더의 구현을 가능하게 한다.

ABSTRACT

This paper investigates the error probability of a stochastic decision and the way in which it differs from the error probability of an optimal decision, i.e., the maximum a posteriori decision. This paper calls attention to the fact that the error probability of a stochastic decision with the a posteriori distribution is at most twice the error probability of the maximum a posteriori decision. It is shown that, by generating an independent identically distributed random sequence subject to the a posteriori distribution and making a decision that maximizes the a posteriori probability over the sequence, the error probability approaches exponentially the error probability of the maximum a posteriori decision as the sequence length increases. Using these ideas as a basis, we can construct stochastic decoders for source/channel codes.

연구 동기 및 목표

• 확률적 결정의 오차 확률이 최적의 최대 사후 확률(MAP) 결정과 비교하여 어떻게 되는지 분석하기.
• MAP 결정과 상대적인 확률적 결정 규칙의 오차 확률에 대한 이론적 한계 설정하기.
• 사후 분포에서 마르코프 체인 몽테카를로(MCMC) 표본 추출을 이용해 소스 부호 및 채널 부호용 확률적 디코더를 구성하는 프레임워크 개발하기.
• 확률적 디코딩의 오차 확률이 시퀀스 길이가 증가함에 따라 MAP 오차율에 지수적으로 수렴함을 보여주기.
• 선형 제약 조건 하에서 사후 분포에서 효율적으로 표본을 추출할 수 있는 제약 조건이 있는 난수 생성 알고리즘 제공하기.

제안 방법

• 조건부 분포 $ q_{\widehat{X}|Y} $ 를 이용한 확률적 결정 규칙를 사용하며, 여기서 $ \widehat{X} $ 는 사후 분포 $ p_{X|Y} $ 에서 추출되며, 마르코프 체인 $ X \leftrightarrow Y \leftrightarrow \widehat{X} $ 를 형성한다.
• 선형 제약 조건 $ A\boldsymbol{x} = \boldsymbol{c} $ 하에서 사후 분포에서 표본을 생성하기 위해 MCMC 방법을 적용하며, 변수 블록에 대한 지브스 샘플링을 사용한다.
• 로그-사후 확률 $ \Lambda = \sum_j \log \mu_{X_j|Y_j}(x_j|y_j) $ 를 최대화하도록 반복적으로 변수를 재표본 추출하는 제약 조건이 있는 난수 생성 알고리즘을 사용하며, 최대우도 시퀀스 $ \boldsymbol{x}_{\max} $ 를 추적한다.
• 선형 제약 조건을 표현하기 위해 체계적 행렬 형태 $ A = [\underline{A} \mid I] $ 를 사용하며, 이는 $ v_{i,j}(x) = x_i + a_{i-n+l,j}[x_j - x] $ 를 통해 변수 갱신을 효율적으로 계산할 수 있도록 한다.
• 변수 $ x_j $ 를 재표본 추출하기 위한 확률 분포 $ \nu(x'_j) $ 를 정의하며, 이는 지지 집합 $ \mathcal{I}_j $ 내의 이웃들 조건 하에 제약 조건을 유지하도록 보장한다.
• MCMC 체인이 진짜 사후 분포로 수렴함을 증명한다: $ \lim_{k\to\infty} d(P_k(\cdot|\boldsymbol{y},\boldsymbol{c}), p_{\boldsymbol{X}|\boldsymbol{Y}\boldsymbol{C}}(\cdot|\boldsymbol{y},\boldsymbol{c})) = 0 $.

실험 결과

연구 질문

• RQ1 확률적 결정의 오차 확률과 최적의 MAP 결정의 오차 확률 간의 최악의 비율은 얼마인가?
• RQ2 사후 분포에서 i.i.d. 표본을 추출하는 확률적 디코더의 오차 확률은 MAP 오차율과 어떻게 비교되는가?
• RQ3 확률적 디코더를 구성할 수 있는가? 이는 점점 더 MAP 디코더의 오차 성능에 수렴한다.
• RQ4 선형 제약 조건 하에서 부호 문제에서 사후 분포로부터 MCMC 기반 표본 추출의 수렴 행동은 어떠한가?
• RQ5 부호 응용에서 사후 분포에서 효율적으로 표본을 추출할 수 있는 제약 조건이 있는 난수 생성기를 어떻게 설계할 수 있는가?

주요 결과

• 사후 분포 기반의 확률적 결정의 오차 확률은 최적의 MAP 결정의 오차 확률의 최대 두 배이다.
• 사후 분포에서 i.i.d. 시퀀스를 생성하고 가장 가능성이 높은 시퀀스를 선택함으로써, 확률적 결정의 오차 확률은 시퀀스 길이가 증가함에 따라 지수적으로 MAP 오차 확률에 수렴한다.
• MCMC 기반 제약 조건이 있는 난수 생성 알고리즘이 진짜 사후 분포로 수렴한다: $ \lim_{k\to\infty} d(P_k(\cdot|\boldsymbol{y},\boldsymbol{c}), p_{\boldsymbol{X}|\boldsymbol{Y}\boldsymbol{C}}(\cdot|\boldsymbol{y},\boldsymbol{c})) = 0 $.
• 이 알고리즘은 각 갱신된 시퀀스 $ \boldsymbol{x} $ 가 선형 제약 조건 $ A\boldsymbol{x} = \boldsymbol{c} $ 를 만족하도록 보장하여, 표본 추출 과정 전반에 걸쳐 타당성이 유지된다.
• 이 방법은 사후 분포에서 표본을 추출함으로써 MAP 결정을 근사함으로써, 소스 부호 및 채널 부호 모두에 대한 확률적 디코더를 구축하는 데 기여한다.
• 임의의 초기 타당 시퀀스에서 수렴이 보장되며, 임의의 연합 분포 $ p_{\boldsymbol{Y}\boldsymbol{C}} $ 에 대해서도 성립한다.