[논문 리뷰] Tensor Expander Chernoff Bounds

Shih Yu Chang|arXiv (Cornell University)|2021. 05. 13.

Tensor decomposition and applications참고 문헌 22인용 수 4

한 줄 요약

이 논문은 로그-주요화 기반 텐서 노름 부등식을 사용하여 행렬 확산체 샤르프의 부등식을 텐서로 일반화하며, 다항식 함수의 랜덤 텐서 합의 키 반 노름에 대한 尾 비율 한계를 가능하게 한다. 영합 제약 조건을 제거하고 다차원 데이터로의 농도를 확장하여 고차원 랜덤 시스템에 대해 더 날카운 비율을 제공한다.

ABSTRACT

The Chernoff bound is an important inequality relation in probability theory. The original version of the Chernoff bound is to give an exponential decreasing bound on the tail distribution of sums of independent random variables. Recent years, several works have been done by extending the original version of the Chernoff bound to high-dimensional random objects, e.g., random matrices, or/and to consider the relaxation that there is no requirement of independent assumptions among random objects. In this work, we generalize the matrix expander Chernoff bound studied by Garg et al. at work: A Matrix Expander Chernoff Bound, to tensor expander Chernoff bounds. Our main tool is to develop new tensor norm inequalities based on log-majorization techniques. These new tensor norm inequalities are used to bound the expectation of Ky Fan norm of the random tensor exponential function, then tensor expander Chernoff bounds can be established. Compared with the matrix expander Chernoff bound, the tensor expander Chernoff bounds proved at this work contributes following aspects: (1) the random objects dimensions are increased from matrices (two-dimensional data array) to tensors (multidimensional data array); (2) this bound generalizes the identity map of the random objects summation to any polynomial function of the random objects summation; (3) Ky Fan norm, instead only the maximum or the minimum eigenvalues, for the function of the random objects summation is considered; (4) we remove the restriction about the summation of all mapped random objects is zero, which is required in the matrix expander Chernoff bound derivation.

연구 동기 및 목표

• 고차원 랜덤 텐서로의 행렬 확산체 샤르프 부등식을 확장하여 다차원 데이터 구조에 대한 농도 부등식을 가능하게 한다.
• 로그-주요화 기반 신규 텐서 노름 부등식을 개발하여 랜덤 텐서 지수 함수의 키 반 노름을 제어한다.
• 이전의 행렬 기반 부등식에서 요구하는 랜덤 텐서 합의 영합 제약 조건을 완화한다.
• 합의 함수를 항등 함수에서 임의의 다항식 함수로 일반화하여 복잡한 시스템에 대한 적용 가능성을 높인다.
• 확산 그래프를 통해 약한 의존성 가정 하에 텐서 노름의 꼬리 한계를 위한 프레임워크를 수립한다.

제안 방법

• 로그-주요화 기법을 사용하여 텐서 노름의 새로운 부등식을 유도하여, 랜덤 텐서 지수 함수의 키 반 노름 기대값을 제어한다.
• 이러한 부등식을 사용하여 마코프 의존성 하에서 확산 그래프를 통해 텐서 합의 모멘트 생성 함수를 제어한다.
• 스펙트럴 노름을 키 반 k-노름으로 대체하여 행렬 확산체 샤르프 부등식을 텐서로 일반화한다.
• 모멘트 생성 함수의 매개변수 t에 대한 최소화를 통해 꼬리 확률을 가우시안 적분 근사로 제어한다.
• 측도 변화 기법을 사용하여 서브-가우시안 근사로 텐서 합의 분포를 제어한다.
• 정규 확산 그래프 구조 하에서 랜덤 텐서 합의 키 반 k-노름에 대한 꼬리 한계를 도출한다.

실험 결과

연구 질문

• RQ1 약한 의존성 가정 하에서 행렬 확산체 샤르프 부등식을 랜덤 텐서로 일반화할 수 있는가?
• RQ2 기저 랜덤 객체들이 독립이 아닐 경우 텐서 합의 키 반 노름을 어떻게 제어할 수 있는가?
• RQ3 로그-주요화를 사용하여 어떤 텐서 노름 부등식을 도출할 수 있으며, 이를 통해 텐서 합의 지수 모멘트를 제어할 수 있는가?
• RQ4 랜덤 텐서 합의 영합 제약 조건을 유지하면서도 농도 부등식을 보존할 수 있는가?
• RQ5 확산 기반 의존성 구조 하에서 텐서 합의 다항식 함수는 어떻게 행동하는가?

주요 결과

• 논문은 정규 확산 그래프 구조 하에서 랜덤 텐서 합의 키 반 k-노름에 대한 텐서 확산체 샤르프 부등식을 수립한다.
• 모든 매핑된 랜덤 텐서의 합이 0이어야 한다는 요구 조건을 제거하여 이전의 행렬 확산체 부등식에서의 핵심 제약 조건을 없앴다.
• 로그-주요화를 기반으로 한 새로운 텐서 노름 부등식 클래스를 개발하여 텐서 합의 지수 모멘트를 제어할 수 있게 하였다.
• 꼬리 한계는 항등 함수가 아닌 다항식 함수의 텐서 합에 대해 유도되었으며, 일반성의 증대를 이뤘다.
• 최종 부등식은 서브-가우시안 꼬리 형태로 표현되며, $\mathrm{Pr}\left(\left\|\sum g(v_j)\right\|_{(k)} \geq \vartheta\right) \leq C\left(k + \sqrt{\frac{\mathbb{I}_1^M - k}{k}}\right) \exp\left(-\frac{\vartheta^2}{8\sigma^2 r^2} + \cdots \right)$ 로 표현되며, $\kappa$, $\lambda$, 및 $\sigma$ 에 명시적인 의존성을 포함한다.
• 함수 $f$ 가 항등 함수일 경우 가장 날카운 부등식이 되며, 이를 통해 정리 4.5는 깔끔한 서브-가우시안 형태를 갖는다.