[논문 리뷰] T product Tensors Part I: Inequalities

Shih Yu Chang, Yimin Wei|arXiv (Cornell University)|2021. 07. 13.

Tensor decomposition and applications참고 문헌 23인용 수 4

한 줄 요약

이 논문은 T-곱 텐서에 대한 기본 부등식을 수립하며, 추적 함수의 단조성, 골든-톱스미스, 점진적, 클라인의 부등식을 포함하여 리브의 볼록성 정리의 T-곱 텐서로의 일반화를 수행한다. 또한 고유튜플을 위한 코우란트-파이셔 정리를 도입하고, 독립적인 헤르미트 T-곱 텐서의 합에 대한 최대 고유값 및 고유튜플에 대한 마스터 尾부 등수를 유도하여, 제2부에서 새로운 체르노프 및 베르누이 타입의 등수를 가능하게 한다.

ABSTRACT

The T product operation between two three order tensors was invented around 2011 and it arises from many applications, such as signal processing, image feature extraction, machine learning, computer vision, and the multiview clustering problem. Although there are many pioneer works about T product tensors, there are no works dedicated to inequalities associated with T product tensors. In this work, we first attempt to build inequalities at the following aspects: (1) trace function nondecreasing and convexity; (2) Golden Thompson inequality for T product tensors; (3) Jensen T product inequality; (4) Klein T product inequality. All these inequalities are related to generalize celebrated Lieb concavity theorem from matrices to T product tensors. This new version of Lieb concavity theorem under T product tensor will be used to determine the tail bound for the maximum eigenvalue induced by independent sums of random Hermitian T product, which is the key tool to derive various new tail bounds for random T product tensors. Besides, Qi et. al introduces a new concept, named eigentuple, about T product tensors and they apply this concept to study nonnegative (positive) definite properties of T product tensors. The final main contribution of this work is to develop the Courant Fischer Theorem with respect to eigentuples, and this theorem helps us to understand the relationship between the minimum eigentuple and the maximum eigentuple. The main content of this paper is Part I of a serious task about T product tensors. The Part II of this work will utilize these new inequalities and Courant Fischer Theorem under T product tensors to derive tail bounds of the extreme eigenvalue and the maximum eigentuple for sums of random T product tensors, e.g., T product tensor Chernoff and T product tensor Bernstein bounds.

연구 동기 및 목표

• 클래식 행렬 부등식을 텐서 설정으로 확장하여 T-곱 텐서에 대한 포괄적인 부등식 이론을 개발하는 것.
• 리브의 볼록성 정리를 T-곱 텐서로 일반화하여 랜덤 T-곱 텐서의 비선형 함수 분석을 가능하게 하는 것.
• T-곱 텐서의 최소 및 최대 고유튜플을 특징짓는 고유튜플을 위한 코우란트-파이셔 정리를 수립하는 것.
• 독립적인 랜덤 헤르미트 T-곱 텐서의 합에 대한 극단 고유값 및 고유튜플에 대한 등수를 이론적으로 기초화하는 것.
• 제2부에서 이곳에서 개발된 부등식과 정리를 바탕으로 T-곱 텐서 체르노프 및 베르누이 등수를 유도하기 위한 기초를 마련하는 것.

제안 방법

• T-곱 텐서의 추적을 f-대각선 성분들의 합으로 정의하고, 연속적인 실함수에 하에 추적 함수의 단조성과 볼록성을 증명하는 것.
• 헤르미트 T-곱 텐서에 대한 골든-톱스미스 부등식을 증명: Tr(exp(𝒞 + 𝒟)) ≤ Tr(exp(𝒞) ⋆ exp(𝒟)) for 𝒞, 𝒟 ∈ ℂ^{m×m×p}.
• T-볼록 함수 f와 정규직교 T-곱 텐서 프레임에 대해 점진적 T-곱 부등식을 수립: f(∑ᵢ 𝒞ᵢᴴ ⋆ 𝒳ᵢ ⋆ 𝒞ᵢ) ⪯ ∑ᵢ 𝒞ᵢᴴ ⋆ f(𝒳ᵢ) ⋆ 𝒞ᵢ, 조건 ∑ᵢ 𝒞ᵢᴴ ⋆ 𝒞ᵢ = 𝒫 하에.
• 클라인의 T-곱 부등식을 증명하여 고전적 클라인 부등식을 T-곱 텐서 설정으로 일반화하는 것.
• T-곱 텐서의 고유튜플 개념을 도입하고, 최소 고유튜플을 통한 T-양(준)정부호성을 정의하는 것.
• T-곱 텐서에 대한 코우란트-파이셔 유형 정리를 수립하여, k번째로 큰 고유튜플을 텐서 공간의 k차원 부분공간 위의 최소-최대 최적화로 특징짓는 것.

실험 결과

연구 질문

• RQ1 골든-톱스미스 및 점진적과 같은 클래식 행렬 부등식은 어떻게 T-곱 텐서 프레임워크로 일반화될 수 있는가?
• RQ2 리브의 볼록성 정리는 T-곱 텐서로 확장될 수 있으며, 이는 랜덤 T-곱 텐서 분석에 어떤 영향을 미치는가?
• RQ3 T-곱 텐서의 최소 및 최대 고유튜플 간의 관계는 무엇이며, 극단 원리로 어떻게 특징지어질 수 있는가?
• RQ4 코우란트-파이셔 정리는 T-곱 텐서로 어떻게 적응되어 극단 고유튜플을 묘사할 수 있는가?
• RQ5 개발된 부등식을 사용하여, 독립적인 랜덤 헤르미트 T-곱 텐서의 합에 대한 최대 고유값 및 고유튜플에 대해 유도할 수 있는 등수는 무엇인가?

주요 결과

• T-곱 텐서에서 f가 비감소 또는 볼록일 경우, 추적 함수 Tr(f(𝒞))는 각각 비감소 및 볼록함.
• 헤르미트 T-곱 텐서에 대해 골든-톱스미스 부등식이 성립함: Tr(exp(𝒞 + 𝒟)) ≤ Tr(exp(𝒞) ⋆ exp(𝒟)).
• T-볼록 함수에 대해 점진적 T-곱 부등식이 수립되었으며, ∑ᵢ 𝒞ᵢᴴ ⋆ 𝒳ᵢ ⋆ 𝒞ᵢ에 대해 f(∑ᵢ 𝒞ᵢᴴ ⋆ 𝒳ᵢ ⋆ 𝒞ᵢ) ⪯ ∑ᵢ 𝒞ᵢᴴ ⋆ f(𝒳ᵢ) ⋆ 𝒞ᵢ를 보여줌 (조건: ∑ᵢ 𝒞ᵢᴴ ⋆ 𝒞ᵢ = 𝒫).
• 클라인의 T-곱 부등식이 증명되었으며, 고전적 부등식이 T-곱 텐서 설정으로 일반화됨.
• T-곱 텐서에 대한 코우란트-파이셔 정리가 수립되었으며, k번째로 큰 고유튜플이 텐서 공간의 k차원 부분공간 위의 최소-최대 최적화로 특징지어짐.
• 최소 및 최대 고유튜플 간의 관계가 명확히 정의됨: d_min(𝒳) = −d_max(−𝒳), 고유값에 대해서도 동일하게 성립함.