[논문 리뷰] Characteristic and Universal Tensor Product Kernels

Zoltán Szabó, Bharath K. Sriperumbudur|HAL (Le Centre pour la Communication Scientifique Directe)|2017. 08. 28.

Gaussian Processes and Bayesian Inference참고 문헌 2인용 수 39

한 줄 요약

이 논문은 텐서 곱 커널이 특징적(characteristic)이 되고 유일한(universal) 조건을 충분하고 필요로 하는 조건으로 규명하여, 최대 평균 차이(MMD)가 확률 분포를 구별할 수 있는지, 그리고 힐버트-슈미트 독립성 기준(HSIC)이 의존성을 감지할 수 있는지에 대한 오랫동안 남아있던 질문을 해결한다. 핵심 기여는 모멘트 조건에서 유도된 다항부등식 시스템을 사용하여 텐서 곱 커널의 $\chi$-특징성 성질을 완전히 특성화한 것이다.

ABSTRACT

Maximum mean discrepancy (MMD), also called energy distance or N-distance in statistics and Hilbert-Schmidt independence criterion (HSIC), specifically distance covariance in statistics, are among the most popular and successful approaches to quantify the difference and independence of random variables, respectively. Thanks to their kernel-based foundations, MMD and HSIC are applicable on a wide variety of domains. Despite their tremendous success, quite little is known about when HSIC characterizes independence and when MMD with tensor product kernel can discriminate probability distributions. In this paper, we answer these questions by studying various notions of characteristic property of the tensor product kernel.

연구 동기 및 목표

• 텐서 곱 커널이 특징적인지 여부에 대한 열린 질문을 해결하여, MMD가 모든 확률 분포를 구별할 수 있도록 보장한다.
• 텐서 곱 커널이 유일한지 여부를 결정하여 함수 공간에서 조밀한 근사가 보장됨을 보장한다.
• HSIC이 텐서 곱 커널 기반으로 통계적 인과성을 감지할 수 있는 조건을 설정한다.
• 모멘트 기반의 다항부등식을 사용하여 텐서 곱 커널의 $\chi$-특징성 성질을 완전한 분석적 특성화를 제공한다.

제안 방법

• 텐서 곱 RKHS $\mathscr{H}_{k_X} \otimes \mathscr{H}_{k_Y}$에서 커널 평균 임bedding을 분석하여, 텐서 곱 커널 $k = k_X \otimes k_Y$가 특징적인 데 필요한 필요조건과 충분조건을 유도한다.
• 공통 분포 $\mathbb{P}_{XY}$와 곱 측도 $\mathbb{P}_X \otimes \mathbb{P}_Y$의 모멘트 조건을 사용하여 변수 $z_0, \dots, z_5$로 표현된 모멘트를 나타내는 다항부등식 시스템을 유도한다.
• 기호 계산(MATLAB를 통해 수행)을 적용하여 다항부등식 시스템 (25)–(30)을 풀어, $\text{MMD}_k(\mathbb{P}_{XY}, \mathbb{P}_X \otimes \mathbb{P}_Y) = 0$이 독립성을 의미하는 정확한 조건을 규명한다.
• 텐서 곱 힐베르트 공간과 힐베르트-슈미트 연산자 사이의 동형사상(은자)을 활용하여 MMD 수식을 HSIC 프레임워크와 연결한다.
• 공통 분포의 모멘트가 만족해야 할 부등식 시스템을 통해 $\mathcal{I}$-특징성 성질을 특성화한다.
• 커널 $k_X$와 $k_Y$에서 유도된 특정 모멘트 벡터의 일차 독립성과 $k_X \otimes k_Y$의 특징성 성질 간의 연결 고리를 수립한다.

실험 결과

연구 질문

• RQ1 텐서 곱 커널 $k_X \otimes k_Y$가 특징적일 조건은 무엇인가? 이는 $\text{MMD}_{k_X \otimes k_Y}(\mathbb{P}_{XY}, \mathbb{P}_X \otimes \mathbb{P}_Y) = 0$이 $\mathbb{P}_{XY} = \mathbb{P}_X \otimes \mathbb{P}_Y$를 의미함을 보장한다.
• RQ2 텐서 곱 커널 $k_X \otimes k_Y$가 유일할 조건은 무엇인가? 이는 연속 함수 공간에서 조밀한 근사를 보장한다.
• RQ3 HSIC이 $k_X \otimes k_Y$ 기반으로 $X$와 $Y$ 간의 통계적 의존성을 감지할 수 있는 필요 및 충분 조건은 무엇인가?
• RQ4 모멘트 기반의 다항부등식을 사용하여 $\mathcal{I}$-특징성 성질을 어떻게 분석적으로 특성화할 수 있는가?

주요 결과

• 논문은 텐서 곱 커널의 $\mathcal{I}$-특징성 성질을 특성화하는 데 사용되는 다항부등식 시스템 (25)–(30)에 대한 완전한 분석적 해를 제공한다.
• 논문은 $k_X \otimes k_Y$가 특징적임이 모멘트 조건에서 유도된 부등식 시스템이 단위 입방체 $[0,1]^6$ 내에 비자명한 해를 가지지 않을 때이고, 그 경우에만 성립함을 증명한다.
• 해결책은 $\text{MMD}_{k_X \otimes k_Y}(\mathbb{P}_{XY}, \mathbb{P}_X \otimes \mathbb{P}_Y) = 0$이 독립성을 의미함이 공통 분포의 모멘트가 유도된 부등식을 만족할 때에만 성립함을 보여준다.
• 이 방법은 $k_X \otimes k_Y$의 특징성 성질이 $k_X$와 $k_Y$에서 유도된 모멘트 벡터의 일차 독립성에 의존함을 규명한다.
• 결과적으로, 다항부등식을 통한 명시적 점검이 가능하다는 점에서 오랫동안 남아있던 이론적 간극을 해결한다.
• 이 프레임워크는 커널 평균 임bedding의 직접 계산 없이도 텐서 곱 커널의 특징성 성질를 검증할 수 있도록 한다.