[논문 리뷰] Handling Missing Data in Decision Trees: A Probabilistic Approach

Pasha Khosravi, Antonio Vergari외 3명|arXiv (Cornell University)|2020. 06. 29.

Bayesian Modeling and Causal Inference참고 문헌 20인용 수 15

한 줄 요약

이 논문은 훈련 시 예측 손실 최소화와 배포 시 기대 예측을 계산하기 위해 처리 가능한 밀도 추정기(tractable density estimators)를 사용하는 확률적 프레임워크를 제안한다. 누락된 값을 은밀하게 보정하고 트리 파라미터를 정밀하게 조정하기 위해 확률적 추론을 활용함으로써, 이 방법은 XGBoost의 표준 보간법과 기본 트리 처리 방식보다 뛰어나며, 특히 높은 누락 비율에서 성능이 뛰어나다.

ABSTRACT

Decision trees are a popular family of models due to their attractive properties such as interpretability and ability to handle heterogeneous data. Concurrently, missing data is a prevalent occurrence that hinders performance of machine learning models. As such, handling missing data in decision trees is a well studied problem. In this paper, we tackle this problem by taking a probabilistic approach. At deployment time, we use tractable density estimators to compute the "expected prediction" of our models. At learning time, we fine-tune parameters of already learned trees by minimizing their "expected prediction loss" w.r.t.\ our density estimators. We provide brief experiments showcasing effectiveness of our methods compared to few baselines.

연구 동기 및 목표

• 결정 트리에서의 누락 데이터 문제를 다루며, 트리가 이러한 경우를 다룰 수 있다는 명성에도 불구하고 성능 저하가 발생하는 것을 해결하고자 한다.
• 트리 구조 학습과 공동 특성 분포 모델링을 분리함으로써, 누락된 값을 더 영리하고 원칙적인 방식으로 처리할 수 있도록 한다.
• 처리 가능한 밀도 추정기를 사용하여 누락된 데이터의 모든 가능한 완성치를 고려한 기대 예측을 계산함으로써, 배포 시 모델의 강인성을 향상시키고자 한다.
• 관측된 데이터에만 의존하는 히ュ리스틱 보간법이 아닌, 누락된 데이터 하에서 기대 손실 최소화를 통해 트리 파라미터를 정밀하게 조정함으로써 훈련 시 성능을 향상시키고자 한다.
• 다양한 트리 알고리즘과 누락 메커니즘에 모두 적용 가능한 통합된 확률적 원칙 기반 방법을 제공하고자 한다.

제안 방법

• 입력 특성의 공동 분포 $ p( extbf{X}) $ 를 모델링하기 위해 처리 가능한 확률 회로(Probabilistic Circuits, PCs)를 사용하여 효율적인 주변 추론을 가능하게 한다.
• 배포 시, 누락된 특성의 모든 가능한 완성치에 대해 기대 예측을 계산하며, 이는 $ p( extbf{X}) $ 에 기반한 가능성에 따라 가중치를 부여한다.
• 훈련 시, 관측된 데이터에 국한되지 않고 전체 분포를 기반으로 기대 예측 손실(예: MSE)을 최소화함으로써 트리 파라미터를 재학습한다.
• 기대 손실 하에서 최적의 리프 파라미터에 대한 폐쇄형 해를 유도함으로써, XGBoost와 같은 사전 학습된 트리의 효율적 정밀 조정을 가능하게 한다.
• 트리 구조 유도와 분포 학습을 분리함으로써, 기존의 어떤 트리나 숲에도 사후(post-hoc)로 적용할 수 있도록 한다.
• 실험에서 누락이 완전히 무작위(MCAR)임을 가정하여 제어된 누락 조건 하에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 누락된 데이터가 배포 시에만 발생할 경우, 확률적 추론 기반 기대 예측이 결정 트리 성능을 향상시키는가?
• RQ2 훈련과 추론 모두에서 누락된 값이 존재할 경우, 훈련 시 기대 손실 최소화가 결정 트리의 강인성을 향상시키는가?
• RQ3 다양한 누락 비율에서, 제안된 방법이 표준 보간 기법(예: 중앙값 보간)과 기본 트리 처리 방식(예: XGBoost의 기본 분기)과 비교해 어떻게 성능을 내는가?
• RQ4 훈련과 배포 시의 누락 메커니즘이 다를 경우, 이 방법은 성능을 유지하거나 향상시키는가?
• RQ5 이 프레임워크는 이론적 일致성 보장을 갖는 구조적 트리 유도를 지원하도록 확장될 수 있는가?

주요 결과

• 누락된 데이터가 배포 시에만 발생할 경우, 기대 예측은 XGBoost의 기본 처리 방식과 중앙값 보간보다 뚜렷이 뛰어나며, 특히 높은 누락 비율(예: π = 0.9)에서 성능이 뛰어나다.
• 훈련과 배포 모두에서 누락된 데이터가 존재할 경우, 기대 예측은 XGBoost의 내재된 처리 방식과 40% 이하의 누락 비율에서는 유사한 성능을 보이지만, 기대 손실 최소화를 통한 정밀 조정에 비해 뒤지게 된다.
• 기대 손실 최소화는 특히 훈련 시에 누락된 데이터가 존재할 경우 성능 향상에 기여하며, 이는 기대 손실을 기반으로 재학습함으로써 일반화 능력이 향상됨을 시사한다.
• 중앙값 보간법과 달리, 이 방법은 특성 간의 의존성을 모델링할 수 있기 때문에 중앙값 보간법보다 뛰어난 성능을 보인다.
• 기대 손실을 통한 XGBoost 트리 정밀 조정은 표준 훈련보다 더 낮은 RMSE를 기록하며, 트리 구조가 고정된 후에도 확률적 재학습의 가치를 입증한다.
• 이 프레임워크는 트리 구조에 관계없이 적용 가능하며, 기존 모델에 사후적으로 적용 가능하므로, 다시 시작하지 않고도 강인성을 확보할 수 있다.