[論文レビュー] On the error probability of stochastic decision and stochastic decoding

Jun Muramatsu, Shigeki Miyake|arXiv (Cornell University)|Jan 18, 2017

Error Correcting Code Techniques参考文献 10被引用数 3

ひとこと要約

本稿では、事後分布に基づく確率的意思決定の誤り確率が、最適な最大事後確率（MAP）意思決定の誤り確率の2倍以下であることを確立している。i.i.d. に事後分布からサンプリングし、最も確率の高い系列を選択することで、確率的意思決定の誤り確率は指数的にMAP誤り率に収束し、これによりソース符号およびチャネル符号のための効率的な確率的デコーダが可能になる。

ABSTRACT

This paper investigates the error probability of a stochastic decision and the way in which it differs from the error probability of an optimal decision, i.e., the maximum a posteriori decision. This paper calls attention to the fact that the error probability of a stochastic decision with the a posteriori distribution is at most twice the error probability of the maximum a posteriori decision. It is shown that, by generating an independent identically distributed random sequence subject to the a posteriori distribution and making a decision that maximizes the a posteriori probability over the sequence, the error probability approaches exponentially the error probability of the maximum a posteriori decision as the sequence length increases. Using these ideas as a basis, we can construct stochastic decoders for source/channel codes.

研究の動機と目的

• 確率的意思決定の誤り確率が最適な最大事後確率（MAP）意思決定と比較してどのようになるかを分析すること。
• 確率的意思決定ルールの誤り確率がMAP意思決定に対して理論的バインドを確立すること。
• 事後分布からのマルコフ連鎖モンテカルロ（MCMC）サンプリングを用いて、ソース符号およびチャネル符号のための確率的デコーダを構築するフレームワークを構築すること。
• 確率的デコーディングの誤り確率が、系列長が増加するにつれて、指数的にMAP誤り率に近づくことを示すこと。
• 線形制約下で事後分布からサンプリングするための制約付き乱数生成の実用的アルゴリズムを提供すること。

提案手法

• 条件付き分布 $ q_{\widehat{X}|Y} $ を用いた確率的意思決定ルールを用い、$ \widehat{X} $ を事後分布 $ p_{X|Y} $ から抽出することで、マルコフ連鎖 $ X \leftrightarrow Y \leftrightarrow \widehat{X} $ を形成する。
• 線形制約 $ A\boldsymbol{x} = \boldsymbol{c} $ の下で、変数ブロック上のギブスサンプリングを用いて、事後分布からのMCMCサンプリングを実行する。
• 線形制約下で事後分布から効率的にサンプリングするための制約付き乱数生成アルゴリズムを用い、対数事後確率 $ \Lambda = \sum_j \log \mu_{X_j|Y_j}(x_j|y_j) $ を最大化するように変数を逐次再サンプリングし、最大尤度系列 $ \boldsymbol{x}_{\max} $ を追跡する。
• 線形制約を $ A = [\underline{A} \mid I] $ のシステム行列形式で表現し、$ v_{i,j}(x) = x_i + a_{i-n+l,j}[x_j - x] $ を用いて変数の更新を効率的に計算する。
• 変数 $ x_j $ の再サンプリングに用いる確率分布 $ \nu(x'_j) $ を定義し、サポート集合 $ \mathcal{I}_j $ 内の隣接変数に条件付けられ、制約が維持されるようにする。
• MCMC連鎖が真の事後分布に収束することを証明する：$ \lim_{k\to\infty} d(P_k(\cdot|\boldsymbol{y},\boldsymbol{c}), p_{\boldsymbol{X}|\boldsymbol{Y}\boldsymbol{C}}(\cdot|\boldsymbol{y},\boldsymbol{c})) = 0 $。

実験結果

リサーチクエスチョン

• RQ1 確率的意思決定の誤り確率と最適なMAP意思決定の誤り確率との間の最悪ケース比は何か？
• RQ2 i.i.d. に事後分布からサンプリングする確率的デコーダの誤り確率は、MAP誤り率と比較してどのようになるか？
• RQ3 漸近的にMAPデコーダの誤り性能に達する確率的デコーダを構築できるか？
• RQ4 線形制約下で、符号問題における事後分布からのMCMCベースのサンプリングの収束特性はいかなるものか？
• RQ5 符号応用において、効率的に事後分布からサンプリングするための制約付き乱数生成器をどのように設計できるか？

主な発見

• 事後分布に基づく確率的意思決定の誤り確率は、最適なMAP意思決定の誤り確率の2倍以下である。
• 事後分布からi.i.d. に系列を生成し、最も確率の高い系列を選択することで、確率的意思決定の誤り確率は系列長が増加するにつれて指数的にMAP誤り確率に近づく。
• MCMCベースの制約付き乱数生成アルゴリズムは真の事後分布に収束する：$ \lim_{k\to\infty} d(P_k(\cdot|\boldsymbol{y},\boldsymbol{c}), p_{\boldsymbol{X}|\boldsymbol{Y}\boldsymbol{C}}(\cdot|\boldsymbol{y},\boldsymbol{c})) = 0 $。
• アルゴリズムは、各更新された系列 $ \boldsymbol{x} $ が線形制約 $ A\boldsymbol{x} = \boldsymbol{c} $ を満たすことを保証し、サンプリングプロセス全体で実行可能性が維持される。
• 事後分布からのサンプリングによるMAP意思決定の近似により、ソース符号およびチャネル符号の両方のための確率的デコーダの構築が可能になる。
• 任意の初期の実行可能系列に対して収束が保証され、任意の同時分布 $ p_{\boldsymbol{Y}\boldsymbol{C}} $ に対して成り立つ。