[논문 리뷰] A simpler condition for consistency of a kernel independence test

Arthur Gretton|arXiv (Cornell University)|2015. 01. 25.

Fault Detection and Control Systems참고 문헌 12인용 수 10

한 줄 요약

이 논문은 힐버트-슈미트 독립성 검증(HSIC)을 사용하는 커널 기반 독립성 검증의 일致성 조건을 단순화한다. HSIC 검증이 각각의 도메인 𝒳 및 𝒴에서 커널이 특징적(characteristic)일 경우에만 일致함을 증명하며, 공동 도메인에서의 곱 커널이 특징적이어야 한다는 조건이 필요로 하지 않음을 보여, 정규직교 행렬이나 비음수 벡터와 같은 복잡한 도메인으로의 적용 범위를 넓힌다.

ABSTRACT

A statistical test of independence may be constructed using the Hilbert-Schmidt Independence Criterion (HSIC) as a test statistic. The HSIC is defined as the distance between the embedding of the joint distribution, and the embedding of the product of the marginals, in a Reproducing Kernel Hilbert Space (RKHS). It has previously been shown that when the kernel used in defining the joint embedding is characteristic (that is, the embedding of the joint distribution to the feature space is injective), then the HSIC-based test is consistent. In particular, it is sufficient for the product of kernels on the individual domains to be characteristic on the joint domain. In this note, it is established via a result of Lyons (2013) that HSIC-based independence tests are consistent when kernels on the marginals are characteristic on their respective domains, even when the product of kernels is not characteristic on the joint domain.

연구 동기 및 목표

• HSIC 기반 독립성 검증의 일치 조건을 더 단순하고 실용적인 조건으로 규명하는 것.
• 이전 일치 조건이 공동 도메인에서의 곱 커널이 특징적이어야 한다는 요구를 내포하고 있어 이를 확보하기가 어려운 점을 해결하는 것.
• 각각의 주변 도메인 𝒳 및 𝒴에서 커널이 특징적일 경우에만 일치가 보장된다는 것을 입증하는 것.
• 공동 특징적 커널을 정의하기 어려운 영역(예: 구조화된 도메인)에서도 HSIC를 적용할 수 있도록 이론적 기반을 제공하는 것.
• 두 도메인 모두 특징적 커널을 가져야 하며, 한 도메인만 특징적일 경우 일치가 실패한다는 점을 명확히 하는 것.

제안 방법

• 라이온스(Lyons, 2013)의 서명 측도를 RKHS에 단사적 통합하는 결과를 활용하여 일치 조건을 설정한다.
• 그레튼 등(Gretton 등, 2012)의 보조정리 3.8을 적용하여 공분산 연산자가 0이면 의존 측도도 0임을 보인다.
• 이동 불변성과 c₀-커널을 갖는 특징적 커널을 사용하여 유한 서명 측도의 단사적 통합을 보장한다.
• 서명 측도 θ = P_XY − P_XP_Y 를 정의하고, 그가 텐서곱 공간에 통합될 때 0이 되는 것은 θ = 0과 동치임을 보인다.
• 𝒳 및 𝒴의 RKHS에서의 특징 맵 φ 및 ψ를 사용하여 공동 공간 위의 적분을 통해 공분산 연산자 C_YX 를 구성한다.
• 공동 특징적 커널이 필요로 하지 않는, 각 도메인의 측도에 대해 별도로 단사성 통합을 확립한다.

실험 결과

연구 질문

• RQ1 공동 도메인에서의 곱 커널이 특징적이어야 한다는 조건보다 더 약한 조건으로 HSIC 기반 독립성 검증의 일치를 보장할 수 있는가?
• RQ2 공동 도메인에서의 곱 커널이 특징적이지 않더라도, 각 개별 도메인 𝒳 및 𝒴에서의 커널이 특징적일 경우에 충분한가?
• RQ3 정규직교 행렬이나 비음수 벡터와 같은 구조화된 도메인에도 HSIC 검증을 일관되게 적용할 수 있는가? 이 경우 공동 특징적 커널을 정의하기가 어렵다.
• RQ4 HSIC 검증이 모든 형태의 의존성을 탐지하기 위해 커널에 요구되는 최소 조건은 무엇인가?
• RQ5 한 도메인만 특징적 커널을 갖는 경우, 다른 도메인이 그렇지 않더라도 왜 실패가 발생하는가?

주요 결과

• HSIC 기반 독립성 검증은 공동 도메인에서의 곱 커널이 특징적이지 않더라도, 각 개별 도메인 𝒳 및 𝒴에서의 커널이 특징적일 경우에 일관된다.
• 증명은 이동 불변성과 특징적 성질을 갖는 c₀-커널을 통해 서명 측도의 RKHS 통합이 단사적임을 보장함에 기반한다.
• 핵심 결과는 C_YX = 0 이면 θ = 0 이며, θ = P_XY − P_XP_Y 이므로 이는 독립성을 의미한다.
• 공동 도메인에서의 곱 커널이 특징적이어야 한다는 조건보다 엄밀히 더 약한 조건이므로, 더 복잡한 도메인으로의 적용 범위가 넓어진다.
• 반례를 통해 한 도메인만 특징적 커널을 갖는 경우(예: ℝ에서 선형 커널), 원형 고리 데이터와 같이 의존성을 탐지하지 못할 수 있음을 보여준다.
• 결과는 강력하고 일반적이다: 폴리시, 국소적으로 컴act한 하우스도르프 공간 위의 임의의 특징적, 이동 불변 c₀-커널 쌍에 대해 적용 가능하다.