[논문 리뷰] From Dependence to Causation

David López-Paz|arXiv (Cornell University)|2016. 07. 12.

Bayesian Modeling and Causal Inference참고 문헌 20인용 수 13

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS)에서 가설의 노름(norm)의 엄격히 증가하는 함수인 정규화 항을 갖는 정규화된 위험 최소화 문제로 의존성 있는 데이터로부터 학습하는 프레임워크를 제안한다. 주요 결과는 정규화된 위험의 임의의 최소화자(minimizer)가 커널 함수의 유한한 선형 조합으로 표현될 수 있음을 보장하는 리프레젠터 정리(representer theorem)를 갖는다는 것이다. 이는 실용적인 계산과 의존성 가정 하에서의 일반화 보장을 가능하게 한다.

ABSTRACT

Machine learning is the science of discovering statistical dependencies in data, and the use of those dependencies to perform predictions. During the last decade, machine learning has made spectacular progress, surpassing human performance in complex tasks such as object recognition, car driving, and computer gaming. However, the central role of prediction in machine learning avoids progress towards general-purpose artificial intelligence. As one way forward, we argue that causal inference is a fundamental component of human intelligence, yet ignored by learning algorithms. Causal inference is the problem of uncovering the cause-effect relationships between the variables of a data generating system. Causal structures provide understanding about how these systems behave under changing, unseen environments. In turn, knowledge about these causal dynamics allows to answer "what if" questions, describing the potential responses of the system under hypothetical manipulations and interventions. Thus, understanding cause and effect is one step from machine learning towards machine reasoning and machine intelligence. But, currently available causal inference algorithms operate in specific regimes, and rely on assumptions that are difficult to verify in practice. This thesis advances the art of causal inference in three different ways. First, we develop a framework for the study of statistical dependence based on copulas and random features. Second, we build on this framework to interpret the problem of causal inference as the task of distribution classification, yielding a family of novel causal inference algorithms. Third, we discover causal structures in convolutional neural network features using our algorithms. The algorithms presented in this thesis are scalable, exhibit strong theoretical guarantees, and achieve state-of-the-art performance in a variety of real-world benchmarks.

연구 동기 및 목표

• 독립적이고 identically distributed(i.i.d.)인 가정이 성립하지 않는 기계 학습 환경에서 의존성 있는 데이터로부터 학습하는 문제에 대응하기 위해.
• 노름 페널티를 포함한 정규화된 위험 함수를 통해 의존성을 통합하는 일반화 프레임워크를 개발하기 위해.
• 의존성 하에서 RKHS에서의 학습을 위한 이론적 기반을 마련하기 위해, 최소화자에 대해 리프레젠터 정리를 증명하기 위해.
• 최적의 가설이 커널 함수의 유한한 선형 조합으로 표현될 수 있도록 보장하기 위해.

제안 방법

• 가설 f의 노름(norm)의 엄격히 증가하는 함수 g를 사용하여 재생 커널 힐버트 공간(RKHS)에서 정규화된 위험 최소화 문제를 수립한다.
• 입력-출력 쌍과 예측값을 확장된 실수로 매핑하는 위험 함수 R을 정의하여 훈련 데이터 상의 손실를 기록한다.
• 모델 복잡도를 제어하고 의존성 하에서도 안정성을 확보하기 위해 정규화 항 g(‖f‖)를 도입한다.
• 정규화된 위험의 임의의 최소화자 f⋆가 f(⋅) = Σᵢ₌₁ⁿ αᵢk(xᵢ, ⋅) 형태의 표현을 갖는다는 것을 리프레젠터 정리를 통해 증명한다. 여기서 αᵢ ∈ ℝ이다.
• RKHS의 구조와 g의 엄격한 단조성(monotonicity)을 활용하여, 미약한 조건 하에서도 해의 존재성과 유일성을 보장한다.
• 해가 훈련 점들에서의 커널 평가값에만 의존하므로 계산이 실현 가능하다는 것을 확보한다.

실험 결과

연구 질문

• RQ1 의존성 있는 데이터에 대해 i.i.d. 가정을 초월하는 정규화된 위험 최소화 프레임워크를 개발할 수 있는가?
• RQ2 RKHS에서 정규화된 위험의 최소화자가 커널 함수의 유한 차원 표현으로 나타날 수 있는가?
• RQ3 g(‖f‖)의 엄격히 증가하는 함수의 선택이 학습 모델의 일반화 및 안정성에 어떤 영향을 미치는가?
• RQ4 의존성 하에서 커널 방법을 사용할 때 어떤 이론적 보장을 도출할 수 있는가?

주요 결과

• RKHS 내 최적의 가설 f⋆는 훈련 입력에 중심을 둔 커널 함수의 유한한 선형 조합으로 표현될 수 있다. 즉, f(⋅) = Σᵢ₌₁ⁿ αᵢk(xᵢ, ⋅)이다.
• 정규화 항 g(‖f‖)가 엄격히 증가하는 것으로 가정할 경우 리프레젠터 정리가 성립하여 해가 잘 정의되고 유일하다는 보장이 된다.
• 정규화된 위험 함수 R에 의존성을 통합함으로써 i.i.d. 표본 추출이 필요 없이 의존성 있는 데이터로부터의 학습이 가능해진다.
• 해가 훈련 점들에서의 커널 평가값에만 의존하므로 실용적인 구현이 가능해진다.
• 이론적 프레임워크는 의존성 하에서 일반화 경계와 안정성 분석을 지원하여 고전적인 커널 방법을 확장한다.
• 이 결과는 데이터 의존성이 위험 함수를 통해 명시적으로 모델링된 경우에 고전적인 리프레젠터 정리를 일반화한다.