[논문 리뷰] On Distance and Kernel Measures of Conditional Independence

Tianhong Sheng, Bharath K. Sriperumbudur|arXiv (Cornell University)|2019. 12. 02.

Bayesian Modeling and Causal Inference참고 문헌 28인용 수 4

한 줄 요약

이 논문은 거리 기반 및 커널 기반 조건부 이상독립성 측정법 사이의 이론적 연결을 수립하며, 특정 조건 하에서 일반화된 조건부 거리 공분산(gCdCov)이 커널 기반 측정법(HSCIC)과 동치임을 보여준다. 그러나 HSCIC와 같은 인기 있는 커널 기반 조건부 이상독립성 측정법은 일반적으로 단순한 거리 표현을 갖지 못하며, 극한 경우에만 이를 갖는다. 이는 공동 이상독립성과의 핵심적 차이점을 드러낸다.

ABSTRACT

Measuring conditional independence is one of the important tasks in statistical inference and is fundamental in causal discovery, feature selection, dimensionality reduction, Bayesian network learning, and others. In this work, we explore the connection between conditional independence measures induced by distances on a metric space and reproducing kernels associated with a reproducing kernel Hilbert space (RKHS). For certain distance and kernel pairs, we show the distance-based conditional independence measures to be equivalent to that of kernel-based measures. On the other hand, we also show that some popular---in machine learning---kernel conditional independence measures based on the Hilbert-Schmidt norm of a certain cross-conditional covariance operator, do not have a simple distance representation, except in some limiting cases. This paper, therefore, shows the distance and kernel measures of conditional independence to be not quite equivalent unlike in the case of joint independence as shown by Sejdinovic et al. (2013).

연구 동기 및 목표

• 거리 기반 및 커널 기반 조건부 이상독립성 측정법 간의 이론적 관계를 조사하는 것.
• 음의 유형의 임의의 거리 공간으로 조건부 거리 공분산(CdCov)을 일반화하여 일반화된 CdCov(gCdCov)를 도입하는 것.
• gCdCov와 커널 기반 조건부 이상독립성 측정법(HSCIC) 간의 동치성을 확립하는 것.
• HSCIC와 같은 인기 있는 커널 기반 측정법이 거리 측정법으로 표현될 수 있는지 여부를 조사하는 것.
• 두 유형의 측정법에 대한 경험적 추정기의 통계적 성질과 계산 복잡도를 비교하는 것.

제안 방법

• 음의 유형의 거리 공간으로 CdCov를 일반화하여 일반화된 조건부 거리 공분산(gCdCov)을 정의하는 것.
• 힐버트-슈미트 노름을 이용해 조건부 교차공분산 연산자의 커널 기반 조건부 이상독립성 측정법(HSCIC)을 정의하는 것.
• 재생 힐버트 공간(RKHS) 임bedding을 사용하여 특정 커널과 거리 쌍에 대해 gCdCov와 HSCIC 간의 동치성을 확립하는 것.
• 커널 행렬과 헷 매트릭스를 사용하여 gCdCov와 HSCIC의 경험적 추정기를 유도하는 것.
• 힐버트 공간에서의 측도 집중을 이용하여 경험적 HSCIC 추정기의 일致성을 확보하는 것.
• HSCIC 추정기는 밀도 추정이 필요로 하지 않지만, 거리 기반 추정기와 유사한 계산 복잡도를 유지함을 보여주는 것.

실험 결과

연구 질문

• RQ1 일반화된 조건부 거리 공분산(gCdCov)이 어떤 조건에서 커널 기반 조건부 이상독립성 측정법(HSCIC)과 동치가 되는가?
• RQ2 HSCIC와 같은 인기 있는 커널 기반 조건부 이상독립성 측정법이 일반적으로 거리 기반 측정법으로 표현될 수 있는가, 아니면 극한 경우에만 가능한가?
• RQ3 gCdCov와 HSCIC의 경험적 추정기 간의 계산 복잡도와 통계적 일치성은 어떻게 비교되는가?
• RQ4 거리 기반 측정법과 커널 기반 측정법 간의 동치성은 조건부 이상독립성과 공동 이상독립성 간의 근본적인 차이가 있는가?
• RQ5 커널 기반 HSCIC는 거리 기반 CdCov의 일반화로 간주될 수 있는가?

주요 결과

• 특정 커널(음의 유형)과 거리(음의 유형) 쌍에 대해 일반화된 조건부 거리 공분산(gCdCov)은 커널 기반 측정법(HSCIC)과 동치이다.
• HSCIC 추정기는 일치성이 있으며, 경험적 gCdCov 추정기와 달리 밀도 추정이 필요로 하지 않는다.
• 경험적 HSCIC와 gCdCov 추정기는 서로 다른 기반 가정에도 불구하고 유사한 계산 복잡도를 갖는다.
• HSCIC와 같은 인기 있는 커널 기반 조건부 이상독립성 측정법은 일반적으로 단순한 거리 표현을 갖지 못하며, 극한 경우에만 이를 갖는다.
• 거리 기반 측정법과 커널 기반 측정법 간의 동치성은 조건부 이상독립성에서는 일반적으로 성립하지 않으며, Sejdinovic 등(2013)이 보여준 공동 이상독립성의 경우와는 다름을 보여준다.
• HSCIC 추정기는 커널 행렬과 헷 매트릭스를 사용하여 표현되며, KZ, HY, HX를 포함하는 추정식 기반의 닫힌 형식의 표현식을 갖는다.