[논문 리뷰] A Practically Competitive and Provably Consistent Algorithm for Uplift Modeling

Yan Zhao, Fang Xiao외 1명|arXiv (Cornell University)|2017. 09. 12.

Advanced Causal Inference Techniques참고 문헌 13인용 수 5

한 줄 요약

이 논문은 강력한 경험적 성능과 약한 정규성 조건 하에서 증명 가능한 일致성(consistency)을 동시에 확보하는 트리 기반 앙상블 알고리즘인 UCTS를 제안한다. 무작위 부분 샘플링 전략과 치료별 반응 차이를 기반으로 한 새로운 분할 기준을 사용함으로써, UCTS는 渐近 일치성(consistency)을 보장하면서도 합성 및 실세계 데이터에서 뛰어난 경험적 성능을 달성한다.

ABSTRACT

Randomized experiments have been critical tools of decision making for decades. However, subjects can show significant heterogeneity in response to treatments in many important applications. Therefore it is not enough to simply know which treatment is optimal for the entire population. What we need is a model that correctly customize treatment assignment base on subject characteristics. The problem of constructing such models from randomized experiments data is known as Uplift Modeling in the literature. Many algorithms have been proposed for uplift modeling and some have generated promising results on various data sets. Yet little is known about the theoretical properties of these algorithms. In this paper, we propose a new tree-based ensemble algorithm for uplift modeling. Experiments show that our algorithm can achieve competitive results on both synthetic and industry-provided data. In addition, by properly tuning the "node size" parameter, our algorithm is proved to be consistent under mild regularity conditions. This is the first consistent algorithm for uplift modeling that we are aware of.

연구 동기 및 목표

• 업스트림 모델링 분야에서 이론적으로 탄탄한 알고리즘이 부족한 문제를 해결하기 위해, 기존 방법들이 종종 일치성 보장을 갖지 못하는 점을 보완하고자 한다.
• 개별 주체의 특성에 기반해 최적의 치료를 정확히 식별할 수 있는 실용적이면서도 이론적으로 탄탄한 알고리즘을 개발하고자 한다.
• 약한 정규성 조건 하에서 제안된 알고리즘의 일치성을 확립하여, 표본 크기가 증가함에 따라 진정한 최적의 치료로 수렴함을 보장하고자 한다.
• 각 치료를 별도로 다루는 것이 아니라, 트리 구축 과정에서 상호 치료 반응 비교를 통합함으로써, 별도 모델 접근법(SMA)을 개선하고자 한다.
• 특히 다중 치료 설정에서 히우리스틱 업스트림 알고리즘에 대한 이론적으로 탄탄한 대안을 제공하고자 한다.

제안 방법

• 알고리즘은 각 트리가 데이터와 특성의 무작위 부분집합으로 훈련되는 랜덤 부분 샘플링 전략을 사용하여 다수의 결정 트리를 성장시킨다.
• 각 노드에서 알고리즘은 치료 간 기대 반응의 차이를 최대화하는 분할을 선택하며, 이는 경험적 치료별 평균을 기반으로 한 기준에 기반한다.
• 분할 규칙은 치료 효과의 이질성이 가장 높은 하위집단을 식별하도록 설계되어 있어, 표적으로 치료 부여를 가능하게 한다.
• 최종 예측은 다수의 트리에 대한 앙상블 평균을 통해 이루어지며, 이는 분산을 감소시키고 강건성을 향상시킨다.
• 추정 오차와 근사 오차를 농도 부등식과 잎의 직경 감소를 통해 경계함으로써 일치성을 증명한다.
• 이론적 분석은 노드 크기 파라미터를 적절히 조정할 경우, 표본 크기가 증가함에 따라 알고리즘이 진정한 최적의 치료 정책으로 수렴함을 보여준다.

실험 결과

연구 질문

• RQ1 트리 기반 앙상블 방법이 업스트림 모델링에서 강력한 경험적 성능과 이론적 일치성을 동시에 달성할 수 있는가?
• RQ2 다수의 치료에 걸쳐 치료 효과의 이질성을 효과적으로 포착할 수 있는 분할 기준을 설계하는 것이 가능한가?
• RQ3 데이터 및 알고리즘 파라미터에 어떤 조건이 요구되어야 추정된 치료 정책이 진정한 최적의 정책으로 수렴하는가?
• RQ4 정확도 및 이론적 보장 측면에서 제안된 알고리즘은 별도 모델 접근법(SMA)보다 어떻게 비교되는가?
• RQ5 강력한 파라미터 가정 없이도 약한 정규성 조건 하에서 알고리즘의 일치성을 증명할 수 있는가?

주요 결과

• 제안된 UCTS 알고리즘은 합성 데이터 및 산업 제공 데이터셋 모두에서 경쟁적인 성능을 보이며, 기존 방법들보다 치료 부여 정확도에서 뛰어나다.
• 알고리즘은 증명 가능 일치성(consistency)을 갖는다: 표본 크기가 증가함에 따라 추정된 최적의 치료가 확률적으로 진정한 최적의 치료로 수렴한다.
• 이론적 분석은 추정 오차와 근사 오차가 표본 크기가 증가함에 따라 모두 0으로 수렴함을 보여주며, 이는 노드 크기 파라미터를 적절히 조정할 경우에 한해 성립한다.
• 근사 오차는 잎의 직경 감소함에 따라 감소하고, 추정 오차는 통제된 샘플링 조건 하에서 농도 부등식을 사용해 경계된다.
• 다수의 랜덤 트리의 앙상블 평균화는 안정성을 향상시키고 분산을 감소시켜 일반화 성능을 향상시킨다.
• 이것은 증명 가능한 일치성 보장을 갖는 업스트림 모델링 알고리즘으로서, 이 분야의 이론적 이해에 있어 중요한 격차를 메우는 첫 번째 알고리즘이다.