[論文レビュー] Variational Bayes Inference in Digital Receivers

Viet Hung Tran|arXiv (Cornell University)|Nov 3, 2018

Blind Source Separation Techniques参考文献 150被引用数 4

ひとこと要約

本学位論文は、変分ベイズ（VB）と一般化分配則（GDL）を用いて、計算複雑性と推定精度のバランスを取ることで、デジタル受信機における効率的なベイズ推論のための新規フレームワークを提案する。ノ・ロング・ネダ（NLN）アルゴリズムと正確な計算のための一般化された前向き後向き（FB）再帰を導入し、近似の質を向上させる変換された変分ベイズ（TVB）手法を提案することで、隠れマルコフ連鎖において計算負荷を O(nM²) から O(nM) に低減しつつ、精度を維持する。

ABSTRACT

The digital telecommunications receiver is an important context for inference methodology, the key objective being to minimize the expected loss function in recovering the transmitted information. For that criterion, the optimal decision is the Bayesian minimum-risk estimator. However, the computational load of the Bayesian estimator is often prohibitive and, hence, efficient computational schemes are required. The design of novel schemes, striking new balances between accuracy and computational load, is the primary concern of this thesis. Two popular techniques, one exact and one approximate, will be studied. The exact scheme is a recursive one, namely the generalized distributive law (GDL), whose purpose is to distribute all operators across the conditionally independent (CI) factors of the joint model, so as to reduce the total number of operators required. In a novel theorem derived in this thesis, GDL, if applicable, will be shown to guarantee such a reduction in all cases. An associated lemma also quantifies this reduction. For practical use, two novel algorithms, namely the no-longer-needed (NLN) algorithm and the generalized form of the Markovian Forward-Backward (FB) algorithm, recursively factorizes and computes the CI factors of an arbitrary model, respectively. The approximate scheme is an iterative one, namely the Variational Bayes (VB) approximation, whose purpose is to find the independent (i.e. zero-order Markov) model closest to the true joint model in the minimum Kullback-Leibler divergence (KLD) sense. Despite being computationally efficient, this naive mean field approximation confers only modest performance for highly correlated models. A novel approximation, namely Transformed Variational Bayes (TVB), will be designed in the thesis in order to relax the zero-order constraint in the VB approximation, further reducing the KLD of the optimal approximation.

研究の動機と目的

• デジタル受信機におけるベイズ最小リスク推定の高い計算複雑性に対処すること。
• リアルタイム応用に適した、精度と計算負荷のバランスを取った効率的な推論方式の開発。
• 条件付き独立（CI）構造を用いて、任意のパrametricモデルにおけるマルコフ因子分解を一般化すること。
• 確率的デジタル受信機モデルにおける正確（GDLベース）および近似（VBベース）推論のための新規アルゴリズムの設計。
• 4Gおよび将来のモバイルネットワークにおける高QoS要件を満たす実用的ベイズ推論の実装を可能にすること。

提案手法

• 変数インデックスに条件付き独立（CI）構造を導入し、結合事後分布を取り扱いやすいマルコフモデルに再因子化する。
• 任意の目的関数に対して双方向CI構造を計算するためのノ・ロング・ネダ（NLN）アルゴリズムを導入する。
• 一般化分配則（GDL）を用いて、CI要因にわたるリング和演算子を分配し、計算演算子の削減を保証する。
• CI要因を効率的に計算する一般化された前向き後向き（FB）再帰を構築し、従来のFBアルゴリズムとは異なる。
• 標準VBの平均場仮定を緩和する変換された変分ベイズ（TVB）を提案し、カルバック・ライブラー距離を低減する。
• 加速されたVBスキームを隠れマルコフ連鎖（HMCs）に適用し、O(nM²) から O(nM) の計算複雑性に低減する。

実験結果

リサーチクエスチョン

• RQ1 任意の目的関数に対して、デジタル受信機推論における条件付き独立（CI）構造を体系的に導出可能か？
• RQ2 一般化分配則（GDL）を用いることで、ベイズ推論における計算演算子数の明示的削減を保証できるか？
• RQ3 新規の加速された変分ベイズ（VB）スキームにより、HMC推論において計算複雑性を O(nM²) から O(nM) に低減できるか、かつ精度を損なわないか？
• RQ4 変換された変分ベイズ（TVB）は、相関が高いモデルにおいて、標準VBよりも近似の質を向上させられるか？
• RQ5 提案されたフレームワークにより、高QoS要件を満たす4Gモバイルネットワークにおける実用的ベイズ推論が可能になるか？

主な発見

• NLNアルゴリズムは、任意の目的関数に対して双方向CI構造を効率的に計算でき、因子分解の効率化を可能にする。
• CI構造に適用されたGDLベースの計算により、演算子数に厳密に正の削減が保証される。
• 一般化された前向き後向き（FB）再帰により、任意のモデルにおいてCI要因の効率的計算が可能になる。
• HMCsに適用された加速VBスキームにより、計算複雑性が O(nM²) から O(nM) に低減され、ビタービ法と同等の性能を達成する。
• 変換された変分ベイズ（TVB）手法により、標準VBに比べカルバック・ライブラー距離が低減され、相関が高いモデルにおける近似の質が向上する。
• シミュレーション性能は控えめであるが、TVBは高QoS要件を満たす4Gモバイルネットワークにおける近似ベイズ推論の新たな道筋を拓く。