[논문 리뷰] Variational Bayes Inference in Digital Receivers

Viet Hung Tran|arXiv (Cornell University)|2018. 11. 03.

Blind Source Separation Techniques참고 문헌 150인용 수 4

한 줄 요약

이 학위논문은 디지털 수신기에서 계산 복잡도와 추정 정확도의 균형을 이루기 위해 변분 베이즈(VB)와 일반화된 분배법칙(GDL)을 사용한 효율적인 베이지안 추론을 위한 새로운 프레임워크를 제안한다. 정확한 계산을 위해 No-Longer-Needed(NLN) 알고리즘과 일반화된 전진-후진(FB) 재귀를 도입하고, 근사 품질을 향상시켜 은닉 마르코프 체인에서 계산 부하를 O(nM²)에서 O(nM)으로 감소시키는 변환된 변분 베이즈(TVB) 방법을 제안한다. 이는 정확도를 유지하면서도 성능을 향상시킨다.

ABSTRACT

The digital telecommunications receiver is an important context for inference methodology, the key objective being to minimize the expected loss function in recovering the transmitted information. For that criterion, the optimal decision is the Bayesian minimum-risk estimator. However, the computational load of the Bayesian estimator is often prohibitive and, hence, efficient computational schemes are required. The design of novel schemes, striking new balances between accuracy and computational load, is the primary concern of this thesis. Two popular techniques, one exact and one approximate, will be studied. The exact scheme is a recursive one, namely the generalized distributive law (GDL), whose purpose is to distribute all operators across the conditionally independent (CI) factors of the joint model, so as to reduce the total number of operators required. In a novel theorem derived in this thesis, GDL, if applicable, will be shown to guarantee such a reduction in all cases. An associated lemma also quantifies this reduction. For practical use, two novel algorithms, namely the no-longer-needed (NLN) algorithm and the generalized form of the Markovian Forward-Backward (FB) algorithm, recursively factorizes and computes the CI factors of an arbitrary model, respectively. The approximate scheme is an iterative one, namely the Variational Bayes (VB) approximation, whose purpose is to find the independent (i.e. zero-order Markov) model closest to the true joint model in the minimum Kullback-Leibler divergence (KLD) sense. Despite being computationally efficient, this naive mean field approximation confers only modest performance for highly correlated models. A novel approximation, namely Transformed Variational Bayes (TVB), will be designed in the thesis in order to relax the zero-order constraint in the VB approximation, further reducing the KLD of the optimal approximation.

연구 동기 및 목표

• 디지털 수신기에서의 베이지안 최소위험 추정의 높은 계산 복잡도 문제를 해결하기 위해.
• 실시간 응용을 위한 정확도와 계산 부하의 균형을 고려한 효율적인 추론 기법을 개발하기 위해.
• 조건부 독립(CI) 구조를 활용해 임의의 매개변수 모델에 대한 마르코프 인수분해를 일반화하기 위해.
• 확률적 디지털 수신기 모델에서 정확한(GDL 기반) 및 근사적(VB 기반) 추론을 위한 새로운 알고리즘을 설계하기 위해.
• 고 품질 서비스(QoS) 요구사항을 가진 4G 및 향후 모바일 네트워크에서의 베이지안 추론의 실용적 구현을 가능하게 하기 위해.

제안 방법

• 변수 색인에 대해 조건부 독립(CI) 구조를 제안하여 공동 사후 분포를 다룰 수 있는 마르코프 모델로 재인수분해한다.
• 임의의 목적 함수에 대해 双방향 CI 구조를 계산하기 위한 No-Longer-Needed(NLN) 알고리즘을 도입한다.
• 일반화된 분배법칙(GDL)을 적용하여 CI 요소들 사이에서 링-합 연산자를 분배함으로써 계산 연산자의 감소를 보장한다.
• 기존의 전진-후진(FB) 알고리즘과는 다름없이 임의의 모델에서 CI 요소를 효율적으로 계산할 수 있는 일반화된 전진-후진(FB) 재귀를 개발한다.
• 기존 VB의 평균장 가정을 완화시켜 쿨백-라이블러 발산을 감소시키는 변환된 변분 베이즈(TVB) 방법을 제안한다.
• 은닉 마르코프 체인(HMCs)에 가속화된 VB 기법을 적용하여 계산 복잡도를 O(nM²)에서 O(nM)으로 감소시킨다.

실험 결과

연구 질문

• RQ1 디지털 수신기 추론에서 임의의 목적 함수에 대해 조건부 독립(CI) 구조를 체계적으로 유도할 수 있는가?
• RQ2 일반화된 분배법칙(GDL)을 적용하여 베이지안 추론의 계산 연산자 수에 대한 증명 가능한 감소를 보장할 수 있는가?
• RQ3 새로운 가속화된 변분 베이즈(VB) 기법이 정확도를 훼손하지 않고 HMC 추론에서 계산 복잡도를 O(nM²)에서 O(nM)으로 감소시킬 수 있는가?
• RQ4 변환된 변분 베이즈(TVB) 방법이 높은 상관관계를 가지는 모델에서 표준 VB보다 근사 품질을 향상시킬 수 있는가?
• RQ5 제안된 프레임워크는 고 QoS 요구사항을 가진 4G 모바일 네트워크에서 실용적인 베이지안 추론을 가능하게 할 수 있는가?

주요 결과

• NLN 알고리즘은 임의의 목적 함수에 대해 이중 방향 CI 구조를 성공적으로 계산하여 효율적인 인수분해를 가능하게 한다.
• GDL 기반 계산은 CI 구조에 적용되었을 때 연산자 수의 엄밀히 양의 감소를 보장한다.
• 일반화된 전진-후진(FB) 재귀는 임의의 모델에서 CI 요소를 효율적으로 계산할 수 있게 한다.
• HMC에 적용된 가속화된 VB 기법은 계산 복잡도를 O(nM²)에서 O(nM)으로 감소시키며, Viterbi 성능과 유사한 정확도를 유지한다.
• 변환된 변분 베이즈(TVB) 방법은 표준 VB보다 쿨백-라이블러 발산을 감소시켜 상관관계가 높은 모델에서 근사 품질을 향상시킨다.
• 소량의 시뮬레이션 성능를 보였지만, TVB는 고 QoS 요구사항을 가진 4G 모바일 네트워크에서의 근사 베이지안 추론을 위한 새로운 길을 열어준다.