[논문 리뷰] Neural Computation of Capacity Region of Memoryless Multiple Access Channels

Farhad Mirkarimi, Nariman Farsad|arXiv (Cornell University)|2021. 05. 10.

Wireless Communication Security Techniques참고 문헌 31인용 수 9

한 줄 요약

이 논문은 메모리 없는 다중접속 채널(MAC)에서 상호정보량의 더 낮은 경계를 더 견고하게 계산하기 위해 신경망 기반의 변분 방법을 제안한다. 이는 타당한 전송률 영역의 더 정확하고 계산 효율적인 추정을 가능하게 하며, KL 발산에 대한 변분 하한 및 상한을 활용함으로써 MINE 기반 추정기보다 우월한 성능을 보이며, 특히 고 SNR에서 성능 향상을 보이며 이전 연구에 비해 광학 강도 MAC의 더 낮은 내부 경계를 제공한다.

ABSTRACT

This paper provides a numerical framework for computing the achievable rate region of memoryless multiple access channel (MAC) with a continuous alphabet from data. In particular, we use recent results on variational lower bounds on mutual information and KL-divergence to compute the boundaries of the rate region of MAC using a set of functions parameterized by neural networks. Our method relies on a variational lower bound on KL-divergence and an upper bound on KL-divergence based on the f-divergence inequalities. Unlike previous work, which computes an estimate on mutual information, which is neither a lower nor an upper bound, our method estimates a lower bound on mutual information. Our numerical results show that the proposed method provides tighter estimates compared to the MINE-based estimator at large SNRs while being computationally more efficient. Finally, we apply the proposed method to the optical intensity MAC and obtain a new achievable rate boundary tighter than prior works.

연구 동기 및 목표

• 연속 알파벳을 가진 메모리 없는 MAC의 용량 영역을 데이터로부터 수치적으로 효율적이고 정확하게 추정할 수 있는 방법을 개발하기 위해.
• 닫힌 형태의 해가 존재하지 않는 다중 사용자 채널의 타당한 전송률 영역을 계산하는 데 도전하기 위해.
• 기존의 상한 또는 하한이 되지 않는 상호정보량 추정기보다 엄밀한 상호정보량 하한을 제공함으로써 이를 개선하기 위해.
• 용량 영역이 알려져 있지 않은 광학 강도 MAC에 이 방법을 적용하여 이전 연구에 비해 더 낮은 내부 경계를 도출하기 위해.

제안 방법

• 보조 함수 T(x)와 스칼라 a ≥ 0를 포함한 부등식에서 유도된 KL 발산에 대한 변분 하한을 사용하며, D(P||Q) ≥ EP[T(x)] − EQ[e^T(x)]/a − log(a) + 1로 표현된다.
• 신경망 φθT(x)를 사용하여 함수 T(x)를 매개변수화함으로써 KL 발산의 하한을 엔드 투 엔드로 최적화할 수 있도록 한다.
• 정리 2를 통해 χ² 발산을 이용한 KL 발산 상한을 적용하여, 변분 프레임워크를 뒷받침하는 이론적 상한을 제공한다.
• 입력 분포를 최대화하는 신경정보망(NIT)을 구축하며, 이는 상호정보량 하한을 최대화하는 데 기여하고, 전력 제약 조건을 준수하기 위해 정규화 레이어를 통합한다.
• Adam 최적화기와 적응형 학습률을 사용하여 손실 함수 L(θ) = −EP[φθT(x)] + EQ[e^{φθT(x)′}]/(αa) + log(αa) − 1을 최적화한다.
• NIT를 학습시켜 상호정보량과 조건부 상호정보량에 대한 하한을 최대화함으로써, 데이터로부터 직접 MAC 용량 영역의 내부 경계를 추정한다.

실험 결과

연구 질문

• RQ1 신경망을 사용하여 상호정보량에 대한 변분 하한을 효과적으로 추정할 수 있는가? 이는 MAC의 용량 영역 추정에 기여하는가?
• RQ2 특히 고 SNR에서, 제안된 신경 추정기와 MINE 간의 정확도 및 계산 효율성은 어떻게 비교되는가?
• RQ3 제안된 방법은 기존의 경계에 비해 광학 강도 MAC의 용량 영역에 대해 더 낮은 내부 경계를 제공할 수 있는가?
• RQ4 신경망 기반 상호정보량 추정이 다양한 신호 대 잡음비(SNR)에서 신뢰할 수 있고 안정적인 경계를 제공할 수 있는가?

주요 결과

• 제안된 방법은 고 SNR에서 MINE 기반 추정기보다 AWGN MAC의 타당한 전송률 영역에 대해 더 낮은 추정치를 제공하며, 정확도의 격차가 더욱 커진다.
• MINE 기반 접근 방식이 I(X;Z|Y), I(Y;Z|X), I(X,Y;Z) 각각의 상호정보량 항을 위해 별도의 신경망을 학습시켜야 하는 데 반해, 제안된 방법은 이를 피함으로써 계산 복잡도를 감소시킨다.
• 광학 강도 MAC의 경우, 제안된 신경 추정기는 이전 연구 [7]에 비해 더 낮은 내부 경계를 도출하여 알려지지 않은 용량 영역에 대한 더 나은 추정을 가능하게 한다.
• MINE 기반 추정기는 R1 ≥ 0.9일 때 알려진 외부 경계를 초과하는 것으로 관측되어 수치적 불안정성과 이론적 보장의 부재를 보여주며, 반면 제안된 방법은 경계 내에서 안정적으로 유지된다.
• 제안된 방법의 학습은 단일 GPU에서 각 SNR 포인트당 약 5분이 소요되어 실시간 또는 반복적인 용량 영역 추정에 실용적이다.
• 이 방법은 R1이 0.9를 초과할 때 R2가 점차 0으로 수렴하는 것을 성공적으로 식별하여, 알려진 MAC 행동과 일치하는 상호 보완적 관계를 반영하며 추정기의 신뢰성과 체계의 한계를 탐지하는 데 성공함을 입증한다.