[논문 리뷰] Relative entropy and the multi-variable multi-dimensional moment problem

Tryphon T. Georgiou|ArXiv.org|2005. 06. 07.

Statistical Mechanics and Entropy참고 문헌 42인용 수 22

한 줄 요약

이 논문은 다변수, 다차원 모멘트 문제를 해결하기 위해 양자 상대 엔트로피를 사용하는 호모토피 기반 정규화 방법을 제안한다. 특히 두 번째 순서 통계에서의 스펙트럼 추정에 초점을 맞춘다. 엔트로피 유도 Riemann 기하학적 메트릭의 재규합을 통해 모든 해의 완전한 특성화를 확립함으로써, 어레이 신호 처리 및 양자 정보 이론에서 일관된 파wer 스펙트럼 재구성 가능성을 확보한다.

ABSTRACT

Entropy-like functionals on operator algebras have been studied since the pioneering work of von Neumann, Umegaki, Lindblad, and Lieb. The most well-known are the von Neumann entropy $trace (ρ\log ρ)$ and a generalization of the Kullback-Leibler distance $trace (ρ\log ρ- ρ\log σ)$, refered to as quantum relative entropy and used to quantify distance between states of a quantum system. The purpose of this paper is to explore these as regularizing functionals in seeking solutions to multi-variable and multi-dimensional moment problems. It will be shown that extrema can be effectively constructed via a suitable homotopy. The homotopy approach leads naturally to a further generalization and a description of all the solutions to such moment problems. This is accomplished by a renormalization of a Riemannian metric induced by entropy functionals. As an application we discuss the inverse problem of describing power spectra which are consistent with second-order statistics, which has been the main motivation behind the present work.

연구 동기 및 목표

• 스펙트럼 분석 및 신호 처리에서 발생하는 다변수, 다차원 모멘트 문제의 해가 존재하는지와 그 해의 완전한 특성화를 다루기.
• 특히 센서 어레이 및 레이더 시스템에서 관측된 두 번째 순서 통계와 일관된 파워 스펙트럼 재구성 가능성을 보장하는 정규화 프레임워크 제공.
• 양자 엔트로피 함수를 통합하여 양의 정부호성과 유일성을 보장함으로써 고전적 모멘트 문제 해법을 일반화하기.
• 극단적 해 이외의 모든 가능성을 포함한 해의 전체 집합을 기술하는 체계적인 방법 개발.
• 연산자 대수학에서 해의 가족을 통합하기 위해 엔트로피 유도 Riemann 기하학적 메트릭을 통한 기하학적 구조 수립.

제안 방법

• 모멘트 문제에서 해를 선택하기 위해 정규화 기능으로서 양자 상대 엔트로피 $\mathbb{S}(\rho\|\sigma) = \mathrm{trace}(\rho\log\rho - \rho\log\sigma)$ 를 사용한다.
• 기본 밀도를 순간 제약 조건을 만족하도록 연속적으로 변형하는 호모토피 접근법을 사용하여 극단적 해로의 수렴 보장.
• 행렬 지수와 로그의 미분 공식 적용: $d\exp(A) = \int_0^1 e^{(1-\tau)A} \Delta e^{\tau A} d\tau$ 와 $d\log(A) = \int_0\infty (A+\tau I)^{-1} \Delta (A+\tau I)^{-1} d\tau$.
• 비가환 곱셈 연산자 $M_C(\Delta) = \int_0^1 C^{1-\tau} \Delta C^{\tau} d\tau$ 를 정의하여 행렬 지수 및 로그의 미분을 표현한다.
• 연산자 $M_C$ 와 그 역행렬을 사용해 엔트로피에 의해 유도된 Riemann 기하학적 메트릭을 재규합함으로써 해의 다양체 기하학적 기술 가능.
• 엔트로피 최소화와 호모토피 연속 기법을 통해 순간 제약 조건 $R = \int_{\mathcal{S}} G_{\text{left}}(\theta) \rho(\theta) G_{\text{right}}(\theta) d\theta$ 를 해결함으로써 완전한 해 특성화 도출.

실험 결과

연구 질문

• RQ1 주어진 다차원 순간 제약 조건 $R = \int G_{\text{left}}(\theta) \rho(\theta) G_{\text{right}}(\theta) d\theta$ 를 만족하는 정부호 밀도 함수 $\rho(\theta)$ 가 존재하는가?
• RQ2 해가 존재한다면, 모멘트 문제의 모든 가능한 해의 집합은 무엇인가?
• RQ3 양자 상대 엔트로피는 무수히 많은 가능성이 있는 밀도 함수들 중에서 해를 정규화하고 유일하게 선택하는 데 어떻게 활용될 수 있는가?
• RQ4 해 공간의 기하학적 구조는 무엇이며, 엔트로피 유도 Riemann 기하학적 메트릭을 통해 어떻게 매개변수화할 수 있는가?
• RQ5 호모토피 방법은 양의 정부호성과 추적 제약 조건을 유지하면서 모멘트 문제의 극단적 해를 효과적으로 구성할 수 있는가?

주요 결과

• 호모토피 방법은 양자 상대 엔트로피를 정규화 기능으로 사용하여 다변수, 다차원 모멘트 문제의 극단적 해를 효과적이고 구축 가능한 방식으로 생성한다.
• 모든 모멘트 문제의 해는 엔트로피 기능에 의해 유도된 재규합 Riemann 기하학적 메트릭을 통해 완전히 기술 가능하며, 이는 타당한 밀도 함수의 기하학적 분류를 가능하게 한다.
• 행렬 지수의 미분은 $M_{e^A}(\Delta) = \int_0^1 e^{(1-\tau)A} \Delta e^{\tau A} d\tau$ 로 주어지며, 이는 비가환 설정에서 가환 곱셈의 일반화이다.
• 행렬 로그의 미분은 $M_A^{-1}(\Delta)$ 로 주어지며, 여기서 $M_A(\Delta) = \int_0^1 A^{1-\tau} \Delta A^{\tau} d\tau$ 이다. 이는 Lieb의 주요 결과를 확인한다.
• 모멘트 문제의 해 공간은 볼록 집합이며, 상대 엔트로피 기능은 극단적 해가 유일하고 최대한의 비가환성을 반영함을 보장한다.
• 이 프레임워크는 레이더, 센서 어레이 및 양자 상태 토모그래피에서 두 번째 순서 통계로부터 파워 스펙트럼을 재구성하는 역문제를 성공적으로 해결한다.