[논문 리뷰] Causal Falling Rule Lists

Fulton Wang, Cynthia Rudin|arXiv (Cornell University)|2015. 10. 18.

Advanced Causal Inference Techniques참고 문헌 23인용 수 14

한 줄 요약

이 논문은 인과적 낙하 규칙 목록(CFRL)을 제안하며, 이는 해석 가능한 if-then 규칙 시퀀스를 사용하여 처리 효과가 단조감소하는 부분군을 식별하는 베이지안 모델이다. 모델 선택을 베이지안 증거 최대화 문제로 공식화하고 변분 추론을 사용함으로써 CFRL는 미국 인구 조사 연봉 데이터셋에서 이질적 처리 효과를 복원하며, 여성과의 임금 격차가 백인 전문직 종사자에서 가장 뚜렷하고 직업, 교육 수준 및 고용 상태에 따라 감소하는 것으로 드러난다.

ABSTRACT

A causal falling rule list (CFRL) is a sequence of if-then rules that specifies heterogeneous treatment effects, where (i) the order of rules determines the treatment effect subgroup a subject belongs to, and (ii) the treatment effect decreases monotonically down the list. A given CFRL parameterizes a hierarchical bayesian regression model in which the treatment effects are incorporated as parameters, and assumed constant within model-specific subgroups. We formulate the search for the CFRL best supported by the data as a Bayesian model selection problem, where we perform a search over the space of CFRL models, and approximate the evidence for a given CFRL model using standard variational techniques. We apply CFRL to a census wage dataset to identify subgroups of differing wage inequalities between men and women.

연구 동기 및 목표

• 이질적 처리 효과를 식별하는 트리 기반 방법의 해석 가능성과 인지 부하 문제를 해결하기 위해.
• 처리 효과 부분군을 효과성에 따라 순서화된 단조 감소 규칙 목록으로 순위 매기기 위한 모델을 개발하기 위해.
• 인과적 규칙 목록 발견을 베이지안 모델 선택 문제로 공식화하여 과적합을 방지하고 교차 검증이 필요 없도록 하기 위해.
• 실제 데이터에 적용하여 특히 성별에 따른 임금 격차를 통해 부분군별 처리 효과를 드러내기 위해.

제안 방법

• 인과적 낙하 규칙 목록(CFRL)은 특성 공간을 처리 효과가 일정하고 단조 감소하는 부분군으로 분할하는 if-then 규칙의 순서로 정의된다.
• 모델는 처리 효과가 각 규칙으로 정의된 부분군 내에서 일정하다고 가정하는 계층적 베이지안 회귀로 매개변수화된다.
• 모델 선택은 베이지안 증거(우도의 주변확률)를 최대화하여 수행되며, 매개변수의 사후분포를 근사하기 위해 변분 추론을 사용한다.
• 가장자기 냉각 알고리즘을 사용하여 가능한 규칙 목록의 공간을 탐색하며, 이동은 규칙 추가, 제거, 또는 재정렬을 포함한다.
• 조건부 무시 가능성 가정을 하고, 반사적 결과 프레임워크를 사용하여 반사적 결과를 모델링한다.
• 사후 추론은 변분 추론을 통해 수행되며, 7,548명의 개인과 54개의 이진 특성을 가진 임금 데이터셋에서 지그비 샘플링과의 비교를 통해 검증된다.

실험 결과

연구 질문

• RQ1 단조 감소 처리 효과를 가진 규칙 기반 모델을 사용하여, 동시에 해석 가능하고 통계적으로 타당한 방식으로 이질적 처리 효과를 가진 부분군을 식별할 수 있는가?
• RQ2 변분 추론을 사용하는 베이지안 모델 선택 프레임워크는 이질적 인과 부분군을 식별하는 데 있어 탐욕적인 트리 기반 방법보다 어떻게 향상되는가?
• RQ3 모델의 진짜 규칙 기반 이질성 구조를 알고 있는 시뮬레이션 데이터에서 CFRL는 얼마나 정확하게 진짜 처리 효과 구조를 복원할 수 있는가?
• RQ4 CFRL의 사후 처리 효과 추정치는 실제 임금 데이터에서 표준 방법인 성향 스코어 매칭과 비교해 볼 때 어떻게 다른가?

주요 결과

• 시뮬레이션된 데이터에서 가장자기 냉각 절차는 진짜 CFRL 모델을 성공적으로 복원하며, 표본 크기가 증가할수록 진짜 모델과의 평균 편집 거리가 감소한다.
• 미국 인구 조사 연봉 데이터셋에서 최고의 증거를 가진 CFRL 모델은 남성일 경우 처리 효과가 가장 큰 부분군으로 백인 전문직 종사자(5.49)를 식별하였으며, 이어 비결합 공장 노동자(3.93)가 뒤이른다.
• 변분 추론을 통한 사후 처리 효과 추정치는 지그비 샘플링 결과와 밀도적으로 유사하여 근사 방법의 정확성을 검증한다.
• CFRL 모델의 사후 추정치는 처리 효과에 대한 사전 분포의 단조 감소 제약로 인해 성향 스코어 매칭의 결과보다 체계적으로 높다.
• 모델는 일곱 개의 부분군을 거쳐 처리 효과가 5.49에서 0.55로 단조 감소함을 드러내며, 고임금, 백인, 전문직 종사자 집단에서 가장 큰 임금 격차가 관찰된다.
• 이 방법은 백인 전문직 종사자와 비결합 공장 노동자와 같이 이해하기 쉽고 실천 가능한 부분군을 성공적으로 식별하여 성별 기반 임금 격차가 가장 심각한 분야를 드러낸다.