[논문 리뷰] Wasserstein Random Forests and Applications in Heterogeneous Treatment Effects

Qiming Du, Gérard Biau외 2명|arXiv (Cornell University)|2020. 06. 08.

Groundwater flow and contamination studies인용 수 6

한 줄 요약

이 논문은 워샤르스타인 거리(Wasserstein distance)를 사용하여 경험적 조건부 분포 간의 분할 기준으로 삼는 새로운 랜덤 포레스트의 확장인 워샤르스타인 랜덤 포레스트(WRF)를 소개한다. 이는 잠재 결과의 전체 조건부 분포를 모델링함으로써 이질적인 치료 효과를 정확하게 추정할 수 있도록 하며, 평균 효과를 넘어서 분포 이동, 다중모달성, 치료 이질성 등을 포착함으로써 원인 인과 추론의 투명성을 향상시킨다.

ABSTRACT

We present new insights into causal inference in the context of Heterogeneous Treatment Effects by proposing natural variants of Random Forests to estimate the key conditional distributions. To achieve this, we recast Breiman's original splitting criterion in terms of Wasserstein distances between empirical measures. This reformulation indicates that Random Forests are well adapted to estimate conditional distributions and provides a natural extension of the algorithm to multivariate outputs. Following the philosophy of Breiman's construction, we propose some variants of the splitting rule that are well-suited to the conditional distribution estimation problem. Some preliminary theoretical connections are established along with various numerical experiments, which show how our approach may help to conduct more transparent causal inference in complex situations.

연구 동기 및 목표

• 평균 치료 효과(CATE)에만 초점을 맞추는 전통적 원인 인과 추론 방법의 한계를 해결하고자 하며, 이는 다중모달성 또는 분산 이동과 같은 분포 복잡성을 놓칠 수 있다.
• 공변수 X에 조건부하여 잠재 결과 Y(0)와 Y(1)의 전체 조건부 분포를 추정하는 랜덤 포레스트 변종을 개발하고자 하며, 평균 값만을 추정하는 것과는 다릅니다.
• 치료 효과가 하위 집단 간에 다양하고 데이터가 균형 잡히지 않은 복잡한 실제 설정에서 더 투명하고 강건한 원인 인과 추론을 가능하게 하고자 합니다.
• 고차원 공변수와 비편향성 가정이 성립하는 관찰 연구에서 조건부 분포를 추정하기 위한 실용적이고 확장 가능한 프레임워크를 제공하고자 합니다.
• 다변량 치료 설정에서 의사결정 지원을 위해 결과와 비용의 공동 분포를 모델링하고자 합니다.

제안 방법

• 왼쪽 및 오른쪽 자식 노드에서 응답 변수의 경험적 확률 측도 간의 워샤르스타인 거리를 사용하여 브라이먼(Breiman)의 원래 랜덤 포레스트 분할 기준을 재구성합니다.
• 두 가지 주요 변종인 $L_{\text{intra}}^2$-WRF와 $L_{\text{inter}}^1$-WRF를 제안하며, 각각 내부 및 외부 노드 워샤르스타인 거리를 최소화하여 분포 추정을 향상시킵니다.
• 각 노드의 응답에 대한 경험적 측도를 사용하여 $\mathscr{W}_p$ 거리를 계산함으로써 조건부 분포 $\mathcal{L}(Y|X=x)$의 추정이 가능해집니다.
• 백싱(backing)과 무작위 기능 선택을 적용한 랜덤 포레스트 앙상블을 사용하며, 노드 간 근접도에서 유도된 가중치를 사용해 트리 간 예측을 평균화합니다.
• 응답 벡터를 분포로 간주함으로써 다변량 출력을 다루기 위해 프레임워크를 확장하여 다중 결과의 공동 모델링이 가능하도록 합니다.
• 제안된 WRF 모델의 실용적 구현 및 검증을 위한 파이썬 패키지를 제공합니다.

실험 결과

연구 질문

• RQ1 경험적 분포 간의 워샤르스타인 거리가 조건부 분포 추정을 위한 랜덤 포레스트의 원칙적이고 효과적인 분할 기준이 될 수 있는가?
• RQ2 WRF는 평균 기반 방법과 비교하여 다중모달성 또는 비대칭성과 같은 조건부 분포의 복잡한 특징을 얼마나 잘 포착할 수 있는가?
• RQ3 치료 그룹이 균형 잡히지 않거나 성향 스코어가 낮은 설정에서 WRF는 원인 인과 추론을 얼마나 향상시키는가?
• RQ4 WRF는 치료 효과 추정에서 다변량 또는 공동 결과 분포를 다룰 수 있도록 확장될 수 있는가?
• RQ5 진정한 조건부 분포가 비정규 또는 이질적인 경우, 다양한 데이터 생성 메커니즘 하에서 WRF의 성능은 어떻게 변하는가?

주요 결과

• 특정 개인의 경우 $x_\star^{(1)}=\pi/4$, $x_\star^{(2)}=1$, $x_\star^{(6)}=\pi/6$ 일 때, 추정된 $\pi_0(x_\star,\cdot)$는 매우 정확하였으며, 이는 통제 잠재 결과 분포 추정에서 뛰어난 성능을 보임을 시사한다.
• 반면, $\pi_1(x_\star,\cdot)$의 추정은 열악한 수준이었으며, $e(x_\star)=0$ 와 같은 성향 스코어가 낮은 영역에서의 도전 과제를 드러낸다.
• $L_{\text{intra}}^2$-WRF와 $L_{\text{inter}}^1$-WRF 변종은 $\pi_0$ 추정에서 유사한 성능를 보였지만, 치료 배정 빈도가 낮은 경우 $\pi_1$ 추정에서는 모두 어려움을 겪었다.
• 수치 실험을 통해 WRF는 전체 조건부 분포를 시각화함으로써 평균 기반 방법이 포착하지 못하는 분포 이동까지 드러내어 더 투명한 원인 인과 추론을 가능하게 한다.
• 이론적 연결을 통해 WRF는 성향 스코어가 0 또는 1에 가까운 경우에도 온건한 정규성 조건 하에서 조건부 분포 추정에 적합하다는 점이 제안된다.
• WRF는 비대칭성과 다중모달성과 같은 분포적 특징을 추정하는 데 있어 표준 패키지의 커널 밀도 추정(kde)과 비교해도 강건함을 입증하였다.