[논문 리뷰] Robust Propensity Score Computation Method based on Machine Learning with Label-corrupted Data

Chen Wang, Suzhen Wang외 2명|arXiv (Cornell University)|2018. 01. 09.

Statistical Methods and Inference참고 문헌 14인용 수 4

한 줄 요약

이 논문은 레이블 손상된 의료 데이터가 존재하는 상황에서 경향 스코어를 계산하기 위한 강건한 기계학습 방법을 제안한다. 스펙트럴 클러스터링을 사용해 자연스러운 데이터 군집을 식별하고, '중간 정도의 소프트맥스' 보간을 통한 샘플 재가중 처리를 통해 더 깔끔한 훈련 서브셋을 생성함으로써 XGBoost 기반의 경향 스코어 추정 성능을 향상시킨다. 특히 고도의 레이블 오염 상황에서도 원래 데이터보다 훨씬 낮은 편향을 보이며, 40%의 레이블 오염 조건에서도 뛰어난 편향 감소 성능을 입증한다.

ABSTRACT

In biostatistics, propensity score is a common approach to analyze the imbalance of covariate and process confounding covariates to eliminate differences between groups. While there are an abundant amount of methods to compute propensity score, a common issue of them is the corrupted labels in the dataset. For example, the data collected from the patients could contain samples that are treated mistakenly, and the computing methods could incorporate them as a misleading information. In this paper, we propose a Machine Learning-based method to handle the problem. Specifically, we utilize the fact that the majority of sample should be labeled with the correct instance and design an approach to first cluster the data with spectral clustering and then sample a new dataset with a distribution processed from the clustering results. The propensity score is computed by Xgboost, and a mathematical justification of our method is provided in this paper. The experimental results illustrate that xgboost propensity scores computing with the data processed by our method could outperform the same method with original data, and the advantages of our method increases as we add some artificial corruptions to the dataset. Meanwhile, the implementation of xgboost to compute propensity score for multiple treatments is also a pioneering work in the area.

연구 동기 및 목표

• 경향 스코어 분석에 사용되는 생물통계학적 데이터에서 흔하지만 다뤄지지 않은 레이블 오염 문제를 해결하기 위해.
• 대부분의 샘플이 올바르게 레이블링되어 있다는 가정을 활용해 잘못 레이블링된 인스턴스를 식별하고 가중치를 낮추는 데이터 정제 방법을 개발하기 위해.
• 손상된 레이블이 존재하는 상황에서도 XGBoost 기반 경향 스코어 추정의 강건성과 정확도를 향상시키기 위해.
• 수학적으로 정당화되고 일반화 가능한 접근법을 제공하여 생물통계학을 넘어선 다른 기계학습 작업, 특히 노이즈가 있는 레이블을 가진 작업에 적용 가능하도록 하기 위해.

제안 방법

• 데이터 매니폴드의 구조에 기반해 샘플을 군집화하기 위해 스펙트럴 클러스터링을 적용하며, 이는 올바르게 레이블링된 샘플이 명확하고 밀집된 군집을 이룬다는 가정을 기반으로 한다.
• 각 군집 내에서 각 치료 그룹의 샘플 비율을 추정하여 군집 수준의 가중치를 계산한다.
• 외곽치와 노이즈에 대한 민감도를 줄이기 위해 보간 기반 정규화를 사용해 원시 군집 가중치를 '중간 정도의 소프트맥스' 분포로 변환한다.
• 정규화된 가중치에 따라 군집에서 샘플을 추출함으로써 재가중된 훈련 데이터셋을 구성하며, 더 유사하고 올바를 가능성이 높은 군집을 우선시한다.
• 재가중된 데이터셋에 대해 XGBoost 분류기 모델을 훈련시켜 역확률가중치에 적합한 확률 출력을 갖는 경향 스코어를 계산한다.
• 군집이 의미 있는 치료 그룹 매니폴드와 대응됨을 확인하기 위해 t-SNE 시각화를 수행하여, 이 방법의 기하학적 직관을 뒷받침한다.

실험 결과

연구 질문

• RQ1 기반 군집화 기반의 데이터 재가중 전략은 경향 스코어 추정에서 레이블 오염의 영향을 효과적으로 줄일 수 있는가?
• RQ2 제안된 방법은 원본 오염된 데이터로 훈련된 표준 XGBoost 모델과 비교해 표준화된 편향 감소 측면에서 어떻게 성능을 냈는가?
• RQ3 인위적으로 레이블 오염 비율을 높일수록 제안된 방법의 성능 이점은 증가하는가?
• RQ4 '중간 정도의 소프트맥스' 재가중 메커니즘은 수학적으로 정당화되며 모델 일반화 성능 향상에 효과적인가?
• RQ5 이 데이터 정제 파이프라인과 결합했을 때 XGBoost는 다중 치료 그룹 경향 스코어 추정에 효과적이고 강건하게 적용될 수 있는가?

주요 결과

• 제안된 방법으로 처리된 데이터를 기반으로 훈련한 XGBoost 모델은 원본 오염된 데이터로 훈련한 동일한 모델보다 표준화된 편향이 유의미하게 낮게 나타났으며, 특히 고도의 오염 상황에서 두드러졌다.
• 40%의 인위적 레이블 오염 조건에서, 제안된 방법은 원본 데이터로 훈련한 경우에 비해 공변량에 대해 평균적으로 최대 58%의 표준화된 편향 감소 효과를 보였다.
• 이 방법의 편향 감소 우수성은 오염 비율이 높아질수록 더욱 증가했으며, 극단적인 레이블 노이즈 상황에서도 강건함을 입증했다.
• 처리된 데이터에서의 최종 훈련 및 테스트 mlogloss는 각각 0.244와 0.553이었고, 원본 데이터의 0.222와 0.500보다 높았지만, 이는 편향 감소 향상과 개선된 무작위화 성능 덕분에 타당한 트레이드오프였다.
• t-SNE 시각화 결과 군집이 명확한 치료 그룹에 대응됨을 확인하여, 이 방법이 의미 있는 데이터 매니폴드를 효과적으로 분리할 수 있음을 검증했다.
• 본 연구는 XGBoost를 다중 치료 그룹 경향 스코어 추정에 적용한 최초의 사례를 제시하며, 생물통계학 분야에서 스케일업되고 정확한 인과 추론을 위한 새로운 길을 열었다.