[논문 리뷰] Infinite-dimensional Log-Determinant divergences II: Alpha-Beta divergences

Hà Quang Minh|arXiv (Cornell University)|2016. 10. 13.

Mathematical Inequalities and Applications참고 문헌 8인용 수 4

한 줄 요약

이 논문은 힐버트 공간 위의 무한차원 정의부 단위 트레이스 클래스 연산자에 대해 일반화된 알파-베타 로그행렬식 산란도를 도입하며, 유한차원 알파-베타 산란도를 확장한다. 이 산란도가 아핀-불변 리만 거리와 대칭 스텐 산란도와 같은 핵심 거리 척도를 통합함을 보이며, 입력 데이터의 그램 행렬을 통해 재생 커널 힐버트 공간(RKHS) 내 공분산 연산자에 대한 닫힌 형태의 표현식을 제공한다.

ABSTRACT

This work presents a parametrized family of divergences, namely Alpha-Beta Log- Determinant (Log-Det) divergences, between positive definite unitized trace class operators on a Hilbert space. This is a generalization of the Alpha-Beta Log-Determinant divergences between symmetric, positive definite matrices to the infinite-dimensional setting. The family of Alpha-Beta Log-Det divergences is highly general and contains many divergences as special cases, including the recently formulated infinite dimensional affine-invariant Riemannian distance and the infinite-dimensional Alpha Log-Det divergences between positive definite unitized trace class operators. In particular, it includes a parametrized family of metrics between positive definite trace class operators, with the affine-invariant Riemannian distance and the square root of the symmetric Stein divergence being special cases. For the Alpha-Beta Log-Det divergences between covariance operators on a Reproducing Kernel Hilbert Space (RKHS), we obtain closed form formulas via the corresponding Gram matrices.

연구 동기 및 목표

• . 유한차원 알파-베타 로그행렬식 산란도를 정의부 단위 트레이스 클래스 연산자에 대한 무한차원 설정으로 일반화한다.
• . 아핀-불변 리만 거리와 대칭 스텐 산란도와 같은 기존 산란도를 단일 매개변수 프레임워크 내에서 통합한다.
• . 입력 데이터의 그램 행렬을 사용하여 재생 커널 힐버트 공간(RKHS) 내 공분산 연산자 간 산란도에 대한 닫힌 형태의 표현식을 유도한다.
• . 산란도의 거리 성질, 즉 대칭성, 양성, 삼각 부등식을 확립한다.
• . 엄밀한 수렴성 및 연속성 증명을 포함하여 로그행렬식 산란도의 이론적 기반을 무한차원 힐버트 공간으로 확장한다.

제안 방법

• . 확장된 프레도holm 행렬식과 트레이스 클래스 연산자 이론을 사용하여 정의부 단위 트레이스 클래스 연산자에 대한 알파-베타 로그행렬식 산란도를 정의한다.
• . 스펙트럼 분해와 유한계수 근사법을 활용하여 유한차원 결과를 무한차원 경우로 확장한다.
• . 트레이스 노름 수렴성과 프레도홀름 행렬식의 연속성을 적용하여 근사에 따른 극한 보존성을 증명한다.
• . 입력 데이터의 그램 행렬과의 관계를 통해 RKHS 공분산 연산자 간 산란도에 대한 닫힌 형태의 공식을 도출한다.
• . 알파-베타 로그행렬식 산란도의 제곱근이 정의부 단위 트레이스 클래스 연산자 공간 위에서 거리 척도를 이룬다는 것을 증명한다.
• . 특수 케이스로 아핀-불변 리만 거리(α=0, β=0 극한)와 대칭 스텐 산란도(α=β=1/2)가 포함됨을 보여준다.

실험 결과

연구 질문

• RQ1 . 유한차원 알파-베타 로그행렬식 산란도는 정의부 단위 트레이스 클래스 연산자에 대해 엄밀하게 무한차원 설정으로 확장될 수 있는가?
• RQ2 . 무한차원 설정에서 알파-베타 로그행렬식 산란도는 아핀-불변 리만 거리와 대칭 스텐 산란도와 같은 알려진 산란도를 통합하는가?
• RQ3 . 재생 커널 힐버트 공간(RKHS) 내 공분산 연산자 간 알파-베타 로그행렬식 산란도에 대한 닫힌 형태의 표현식은 무엇이 있는가?
• RQ4 . 알파-베타 로그행렬식 산란도의 제곱근은 정의부 단위 트레이스 클래스 연산자 공간 위에서 유효한 거리 척도인가?
• RQ5 . 프레도홀름 행렬식과 연산자 노름의 수렴성 및 연속성 성질은 무한차원 산란도 정의의 타당성을 어떻게 보장하는가?

주요 결과

• . 알파-베타 로그행렬식 산란도는 모든 α, β > 0 에 대해 잘 정의되며, 정의부 단위 트레이스 클래스 연산자 공간 위에서 연속적이고 대칭적이며 양의 정부호 산란도를 이룬다.
• . 아핀-불변 리만 거리는 D(0,0)(A,B)의 극한 케이스로 복원되며, 새로운 프레임워크 내에서 특수 케이스로서의 역할을 확인한다.
• . 대칭 스텐 산란도는 D(1/2,1/2)(A,B)로 얻어지며, 그 제곱근이 정의부 단위 트레이스 클래스 연산자 공간 위에서 거리 척도임을 증명한다.
• . RKHS 내 공분산 연산자에 대해 알파-베타 로그행렬식 산란도는 해당 그램 행렬을 통해 닫힌 형태의 표현식을 갖으며, 효율적인 계산이 가능하다.
• . 알파-베타 로그행렬식 산란도의 제곱근은 삼각 부등식을 만족하며, 정의부 단위 트레이스 클래스 연산자 공간 위에서 유효한 거리 척도임을 입증한다.
• . 산란도는 유니터리 변환에 대해 불변이며, 유한계수 근사에서 수렴성을 유지하므로 강건성과 수치적 실현 가능성을 보장한다.