[논문 리뷰] What can be estimated? Identifiability, estimability, causal inference and ill-posed inverse problems

Oliver J. Maclaren, Ruanui Nicholson|arXiv (Cornell University)|2019. 04. 04.

Bayesian Modeling and Causal Inference참고 문헌 41인용 수 16

한 줄 요약

이 논문은 인과 추론에서 식별 가능성과 추정 가능성의 경계를 재정의하며, 식별 가능성은 인과 추정량의 유일성을 보장하지만 안정성이나 실용적 추정 가능성은 보장하지 못함을 보여줍니다. 추상적인 통계 체계와 범주론을 사용하여 저자들은 식별 가능성이지만 안정적인 추정량이 없는 양상을 입증합니다. 이는 인과 추론이 허드슨의 세 조건을 만족하는 불안정한 역문제임을 시사합니다: 존재성, 유일성(식별 가능성), 안정성. 따라서 진정한 추정 가능성은 세 조건을 모두 충족해야 합니다.

ABSTRACT

We consider basic conceptual questions concerning the relationship between statistical estimation and causal inference. Firstly, we show how to translate causal inference problems into an abstract statistical formalism without requiring any structure beyond an arbitrarily-indexed family of probability models. The formalism is simple but can incorporate a variety of causal modelling frameworks, including 'structural causal models', but also models expressed in terms of, e.g., differential equations. We focus primarily on the structural/graphical causal modelling literature, however. Secondly, we consider the extent to which causal and statistical concerns can be cleanly separated, examining the fundamental question: 'What can be estimated from data?'. We call this the problem of estimability. We approach this by analysing a standard formal definition of 'can be estimated' commonly adopted in the causal inference literature -- identifiability -- in our abstract statistical formalism. We use elementary category theory to show that identifiability implies the existence of a Fisher-consistent estimator, but also show that this estimator may be discontinuous, and thus unstable, in general. This difficulty arises because the causal inference problem is, in general, an ill-posed inverse problem. Inverse problems have three conditions which must be satisfied to be considered well-posed: existence, uniqueness, and stability of solutions. Here identifiability corresponds to the question of uniqueness; in contrast, we take estimability to mean satisfaction of all three conditions, i.e. well-posedness. Lack of stability implies that naive translation of a causally identifiable quantity into an achievable statistical estimation target may prove impossible. Our article is primarily expository and aimed at unifying ideas from multiple fields, though we provide new constructions and proofs.

연구 동기 및 목표

• 인과 추론에서 식별 가능성과 추정 가능성의 개념적 차이를 명확히 하기.
• 식별 가능성만으로는 실용적인 통계적 추정이 안정적이고 가능하다고 보장되지 않음을 보여주기.
• 인과 추론을 허드슨의 세 조건(존재성, 유일성, 안정성)에 의해 지배되는 불안정한 역문제로 프레임워크화하기.
• 추상적인 통계 체계를 사용하여 인과 추론, 역문제, 통계학적 학습 이론의 개념을 통합하기.
• 인과 질의가 자료로부터 의미 있게 추정될 수 있는지 여부를 판단하는 기준으로 추정 가능성(식별 가능성만이 아니라)이 되어야 한다고 주장하기.

제안 방법

• 임의의 인덱스를 가진 확률 모델의 가족을 사용하여 추상적인 통계 프레임워크 내에서 인과 추론을 체계화하기.
• 기초적인 범주론을 적용하여 식별 가능성은 피셔-일致한 추정량의 존재를 암시함을 증명하기.
• 그러한 추정량이 데이터의 미세한 변화에 민감하여 불안정할 수 있음을 보여주기.
• 불안정한 역문제의 프레임워크를 사용하여 인과 추정을 분석하고, 허드슨의 세 조건에 집중하기.
• 존재성, 유일성(식별 가능성), 안정성을 모두 충족하는 '추정 가능성' 개념을 도입하기.
• 경제학 및 인과 모델링의 사례(예: 영향력 함수가 유계가 아닌 경우가 있는 성향 스코어 기반 ATE 추정)를 통해 추정량의 불안정성을 설명하기.

실험 결과

연구 질문

• RQ1 식별 가능성만으로 인과 질의가 자료로부터 실용적으로 추정 가능하다고 보장할 수 있는가?
• RQ2 추정량의 안정성은 인과 모델의 구조와 데이터 생성 과정에 얼마나 의존하는가?
• RQ3 불안정한 역문제의 원리가 통계학 및 경제학 분야의 인과 추론 문제에 어떻게 적용되는가?
• RQ4 불안정성으로 인해 인과적 추론과 통계적 추론 간의 분리 가정이 어느 정도 붕괴되는가?
• RQ5 인과적으로 식별 가능한 양이 실질적으로 추정 가능하도록 하기 위해 어떤 조건을 도입해야 하는가?

주요 결과

• 식별 가능성은 피셔-일치한 추정량의 존재를 보장하지만, 그 안정성은 보장하지 않으며, 이는 실용적 추정에 필수적이다.
• 이 논문은 식별 가능한 인과 추정량이 불연속적인 추정량에 대응할 수 있음을 보여주며, 이는 수치적으로 불안정하고 미세한 데이터 변형에 취약하다는 것을 의미한다.
• 추정 가능성은 식별 가능성과 동치가 아니며, 존재성, 유일성(식별 가능성), 안정성의 세 허드슨 조건을 모두 충족해야 한다.
• 경제학의 사례(예: 영향력 함수가 무한대가 되는 성향 스코어 기반 ATE 추정)는 식별이 성립하더라도 불안정성이 발생할 수 있음을 보여준다.
• 식별 알고리즘의 조건 수가 매우 클 수 있으며, 이는 입력의 미세한 변화에 매우 민감함을 시사한다. 이는 준-마르코프 모델에서 확인되었다.
• 역문제 이론, 강건 통계학, 학습 이론의 이론적 결과들은 오직 안정적인 해를 가진 잘 정의된 문제들만 원칙적으로 추정 가능하다는 주장을 뒷받침한다.