[논문 리뷰] Causal Rule Sets for Identifying Subgroups with Enhanced Treatment Effect

Tong Wang, Cynthia Rudin|arXiv (Cornell University)|2017. 10. 16.

Advanced Causal Inference Techniques참고 문헌 53인용 수 7

한 줄 요약

이 논문은 Causal Rule Sets (CRS)를 소개한다. CRS는 작은 수의 짧은 결정 규칙을 사용하여 해석 가능한 부분군에서 향상된 치료 효과를 발견하는 베이지안적이고 비그리디(비탐욕적) 기계학습 프레임워크이다. 모델 적합도와 복잡도를 균형 잡는 전역 목적 함수를 최적화함으로써, CRS는 탐욕적 트리 기반 방법과 최신 규칙 기반 모델을 능가하며 다양한 실세계 데이터셋에서 뛰어난 치료 효율성 경계를 달성한다.

ABSTRACT

A key question in causal inference analyses is how to find subgroups with elevated treatment effects. This paper takes a machine learning approach and introduces a generative model, Causal Rule Sets (CRS), for interpretable subgroup discovery. A CRS model uses a small set of short decision rules to capture a subgroup where the average treatment effect is elevated. We present a Bayesian framework for learning a causal rule set. The Bayesian model consists of a prior that favors simple models for better interpretability as well as avoiding overfitting, and a Bayesian logistic regression that captures the likelihood of data, characterizing the relation between outcomes, attributes, and subgroup membership. The Bayesian model has tunable parameters that can characterize subgroups with various sizes, providing users with more flexible choices of models from the \emph{treatment efficient frontier}. We find maximum a posteriori models using iterative discrete Monte Carlo steps in the joint solution space of rules sets and parameters. To improve search efficiency, we provide theoretically grounded heuristics and bounding strategies to prune and confine the search space. Experiments show that the search algorithm can efficiently recover true underlying subgroups. We apply CRS on public and real-world datasets from domains where interpretability is indispensable. We compare CRS with state-of-the-art rule-based subgroup discovery models. Results show that CRS achieved consistently competitive performance on datasets from various domains, represented by high treatment efficient frontiers.

연구 동기 및 목표

• 관찰 데이터에서 일반 인구집단보다 치료 효과가 현저히 높은 부분군을 식별하기 위해.
• 특성 상호작용에 대한 사전 가설에 의존하지 않고 이러한 부분군을 발견할 수 있는 방법을 개발하기 위해.
• 작은 수의 간결한 결정 규칙을 사용함으로써 해석 가능성 향상과 과적합 방지를 위해.
• 전역 치료 효과 목적 함수를 최적화하지 못하는 탐욕적 재귀 분할 방법의 한계를 극복하기 위해.
• 모델 단순성과 예측 성능를 균형 잡는 유연하고 원칙적인 부분군 탐색 프레임워크를 제공하기 위해.

제안 방법

• CRS는 단순하고 희박한 규칙 집합을 선호하는 사전 분포와 베이지안 로지스틱 회귀를 조합하여 결과 가능성도를 모델링하는 베이지안 생성 모델을 사용한다.
• 모델은 규칙 집합과 파라미터에 대한 공동 사후 분포를 사용하며, 반복적인 이산 몽테카를로 단계를 통해 최대 사후확률( MAP ) 추정을 수행한다.
• 계산 효율성을 향상시키기 위해 이론적으로 탄탄한 히우리스틱 및 경계 전략을 사용하여 검색 공간을 잘라낸다.
• 규칙는 논리합 표준형(DNF)으로 조합되며, 이는 단일 규칙 모델보다 비직사각형, 비정규적인 부분군 형태를 더 정확하게 포착할 수 있도록 한다.
• 부분군 크기와 복잡도를 제어할 수 있는 조정 가능한 파라미터를 지원하여 치료 효율성 경계를 따라 탐색이 가능하다.
• 베이지안 로지스틱 회귀 구성요소는 잠재 결과를 모델링하며, 공변량, 치료 및 부분군 소속 간의 관계를 포착한다.

실험 결과

연구 질문

• RQ1 비탐욕적이고 전역 최적화된 규칙 집합 모델은 치료 효과가 높은 부분군을 식별하는 데 있어 탐욕적 트리 기반 방법을 능가할 수 있는가?
• RQ2 희박성 유도 사전을 갖춘 베이지안 프레임워크는 부분군 탐색에서 해석 가능성 향상과 과적합 감소에 얼마나 기여하는가?
• RQ3 규칙 집합 모델은 단일 규칙 또는 트리 기반 모델에 비해 복잡한 비직사각형 부분군 형태를 얼마나 잘 포착할 수 있는가?
• RQ4 제안된 방법은 최신 규칙 기반 및 트리 기반 기준 대비 치료 효율성 경계에서 더 뛰어난 성능을 달성하는가?
• RQ5 의사결정이 중요한 분야인 개인 맞춤 의료 및 타겟 광고와 같은 실세계 고위험 도메인에 효과적으로 적용될 수 있는가? 여기서 해석 가능성은 필수적이다.

주요 결과

• CRS는 다양한 데이터셋에서 일관되고 경쟁 가능한 성능을 보였으며, 높은 치료 효율성 경계를 확보하여 치료 효과와 부분군 크기 사이의 우수한 트레이드오프를 나타냈다.
• 의료 크라우드펀딩 데이터셋에서 CRS는 평균 치료 효과(ATE)가 6%인 부분군을 식별했으며, VTR(ATE = 0.02)와 SIDES(ATE = 0.03)와 같은 기준 모델을 능가했다.
• 합성 실험에서 CRS는 진정한 기저 부분군을 성공적으로 복원하여 부분군 식별의 강건성과 정확성을 입증했다.
• 단일 규칙 모델이 표현할 수 없었던 다수의 규칙을 사용하여 아치형 분포와 같은 복잡한 부분군 형태를 효과적으로 포착했다.
• 경계 및 히우리스틱 전략을 통해 우수한 검색 효율성을 보이며 규칙 집합 공간의 확장 가능한 탐색을 가능하게 했다.
• 의료 크라우드펀딩 데이터셋에서 QUINT가 부분군을 발견하지 못한 데 비해, CRS는 지지도 48.9%이고 양의 ATE를 가진 의미 있는 해석 가능한 규칙 집합을 식별했다.