[논문 리뷰] Reinforcement Learning Evaluation and Solution for the Feedback Capacity of the Ising Channel with Large Alphabet

Ziv Aharoni, Oron Sabag외 1명|arXiv (Cornell University)|2020. 08. 18.

Reinforcement Learning in Robotics참고 문헌 13인용 수 5

한 줄 요약

이 논문은 유한 상태 채널(FSCs)의 피드백 용량을 계산하기 위해 강화 학습(RL) 기반 방법을 제안한다. 특히 알파벳 크기가 큰 이징 채널의 경우, 기존의 동적 프로그래밍 기법이 겪는 지수적 계산 복잡도 문제를 해결한다. RL에서 신경망 기반 함수 근사 기법을 사용함으로써 저자들은 용량에 대한 수치적 하한을 도출하고, Q-그래프를 통해 최적 해의 구조를 추론하며, 이중성 방법을 활용해 해석적 상한을 수립한다. 이로써 알파벳 크기 ≤8일 경우 정확한 용량을 도출하고, 더 큰 알파벳 크기의 경우도 타이트한 경계를 확보한다.

ABSTRACT

We propose a new method to compute the feedback capacity of unifilar finite state channels (FSCs) with memory using reinforcement learning (RL). The feedback capacity was previously estimated using its formulation as a Markov decision process (MDP) with dynamic programming (DP) algorithms. However, their computational complexity grows exponentially with the channel alphabet size. Therefore, we use RL, and specifically its ability to parameterize value functions and policies with neural networks, to evaluate numerically the feedback capacity of channels with a large alphabet size. The outcome of the RL algorithm is a numerical lower bound on the feedback capacity, which is used to reveal the structure of the optimal solution. The structure is modeled by a graph-based auxiliary random variable that is utilized to derive an analytic upper bound on the feedback capacity with the duality bound. The capacity computation is concluded by verifying the tightness of the upper bound by testing whether it is BCJR invariant. We demonstrate this method on the Ising channel with an arbitrary alphabet size. For an alphabet size smaller than or equal to 8, we derive the analytic solution of the capacity. Next, the structure of the numerical solution is used to deduce a simple coding scheme that achieves the feedback capacity and serves as a lower bound for larger alphabets. For an alphabet size greater than 8, we present an upper bound on the feedback capacity. For an asymptotically large alphabet size, we present an asymptotic optimal coding scheme.

연구 동기 및 목표

• 큰 알파벳 크기를 가진 유일한 유한 상태 채널(FSCs)의 피드백 용량을 계산할 때 기존의 동적 프로그래밍 기법이 겪는 지수적 계산 복잡도 문제를 해결하기 위해.
• 상태 공간의 폭발로 인해 기존의 MDP 솔버가 실패하는 채널에서 피드백 용량을 추정하기 위한 확장 가능한 방법 개발을 위해.
• RL의 함수 근사 기법을 활용해 피드백 용량을 수치적으로 추정하고, 해석적 해를 유도하기 위한 구조적 패턴을 추론하기 위해.
• 이중성 방법을 사용해 해석적 상한을 유도하고, BCJR 불변성 검증을 통해 이 상한이 타당한지 확인함으로써 용량 달성 가능성을 확인하기 위해.
• 작은 알파벳 크기의 경우 용량을 달성하는 코드 설계 방안을 제안하고, 큰 알파벳 크기의 경우 점점 커지는 점근적 경계를 도출하기 위해.

제안 방법

• 신뢰도 상태와 입력 분포를 매개변수로 하는 연속 상태 및 동작 공간을 가진 마르코프 결정 과정(MDP)으로 피드백 용량 문제를 수식화한다.
• 딥 강화 학습을 적용하여 가치 함수와 정책을 신경망으로 근사함으로써, 큰 상태 및 동작 공간에서의 확장 가능한 최적화를 가능하게 한다.
• 수치적 RL 출력을 바탕으로 Q-그래프를 구성한다. 이는 MDP의 주요 상태와 전이를 표현하는 유한 상태 표현으로, 해의 구조를 포괄한다.
• Q-그래프를 보조 랜덤 변수로 사용하여 이중성 상한 방법을 활용해 피드백 용량에 대한 해석적 상한을 유도한다.
• 전이 행렬 $T_{Y|Q}$ 의 BCJR 불변성을 검증함으로써 상한의 타당성을 테스트한다. 이는 상한이 달성 가능하다는 것을 확인한다.
• 알파벳 크기 $|\mathcal{X}| \leq 8$ 인 경우, 닫힌 형태의 해석적 해와 용량을 달성하는 단순한 코드 설계 방안을 유도한다.

실험 결과

연구 질문

• RQ1 기존의 동적 프로그래밍 기법이 실패하는 큰 알파벳 크기를 가진 유일한 FSCs에서 강화 학습이 피드백 용량을 효과적으로 추정할 수 있는가?
• RQ2 알파벳 크기가 증가함에 따라 이징 채널의 최적 정책에서 나타나는 구조적 패턴은 무엇인가?
• RQ3 RL에서 도출한 수치적 해를 바탕으로 Q-그래프를 구성할 수 있으며, 이는 이중성 방법을 통해 해석적 상한을 도출하는 데 기여하는가?
• RQ4 유도된 피드백 용량 상한은 타당한가? 그리고 BCJR 불변성을 통해 검증할 수 있는가?
• RQ5 알파벳 크기가 커질수록 이징 채널의 피드백 용량은 어떤 점근적 행동을 보이는가?

주요 결과

• 알파벳 크기 $|\mathcal{X}| \leq 8$ 일 경우, 이징 채널의 피드백 용량은 해석적으로 $C_{\text{FB}} = \frac{3}{4} \log \frac{|\mathcal{X}|}{2}$ 로 결정된다.
• $|\mathcal{X}| \leq 8$ 인 경우, 두 개의 서로소 알파벳 부분집합에서 번갈아가며 전송하는 방식의 용량 달성 코드 설계가 도출되었다.
• 알파벳 크기가 증가함에 따라 RL 기반의 수치적 하한이 향상됨을 관찰하여, $|\mathcal{X}| = 8$ 를 초월해 최적 정책의 구조가 변화하고 있음을 시사한다.
• $|\mathcal{X}| > 8$ 인 경우, 이중성 방법을 사용해 해석적 상한을 도출하였지만, 그 타당성은 아직 검증되지 않았다.
• BCJR 불변성을 통해 $|\mathcal{X}| \leq 8$ 일 경우 상한이 타당함을 입증하였고, 이는 해석적 해의 타당성을 확인한다.
• 점점 커지는 알파벳 크기의 점근적 경우, 하한과 상한이 점점 더 타이트해지며, $|\mathcal{X}| \leq 8$ 일 경우 비율이 $\frac{2}{3}$ 에 도달해 포화 상태에 이를 것을 밝혀냈다.