[논문 리뷰] Vtreat: A Data.Frame Processor For Predictive Modeling

Nina Zumel, John Mount|arXiv (Cornell University)|2016. 11. 29.

Statistical Methods and Inference참고 문헌 13인용 수 8

한 줄 요약

Vtreat는 실세계 데이터를 예측 모델링에 적합하게 준비하기 위해 일반적인 문제들인 결측치, 무한값, 희귀 또는 새로운 범주형 수준, 고카디널리티 요소를 통계적으로 타당하고 재현 가능한 방식으로 체계적으로 다루는 R 패키지이다. 데이터 전처리 과정에서의 데이터 누출을 방지함으로써 모델링 편향을 줄여 생산 환경에서의 모델 배포를 더욱 안전하게 한다.

ABSTRACT

We look at common problems found in data that is used for predictive modeling tasks, and describe how to address them with the vtreat R package. vtreat prepares real-world data for predictive modeling in a reproducible and statistically sound manner. We describe the theory of preparing variables so that data has fewer exceptional cases, making it easier to safely use models in production. Common problems dealt with include: infinite values, invalid values, NA, too many categorical levels, rare categorical levels, and new categorical levels (levels seen during application, but not during training). Of special interest are techniques needed to avoid needlessly introducing undesirable nested modeling bias (which is a risk when using a data-preprocessor).

연구 동기 및 목표

• 예측 모델링의 신뢰성에 악영향을 미치는 실세계 데이터셋에서 흔히 발생하는 데이터 품질 문제를 해결하기 위해.
• 특히 변수 준비 과정에서의 데이터 누출로 인한 중첩 편향을 포함한 데이터 전처리 과정에서 발생하는 모델링 편향을 줄이기 위해.
• 범주형 요소, 결측치, 이상치와 같은 변수를 재현 가능하고 통계적으로 타당한 프레임워크로 준비하기 위해.
• 모델 추론 과정에서의 희귀 또는 미사용된 범주형 수준과 같은 극단적인 케이스를 다루기 위해.
• 훈련 및 적용 단계에서 전처리 과정이 일관되게 적용되도록 보장함으로써 안전하고 생산용으로 사용 가능한 모델링을 가능하게 하기 위해.

제안 방법

• Vtreat는 변수를 변환할 때 원칙적이고 데이터 기반의 접근 방식을 사용하여, 결측치나 잘못된 값을 통계적으로 근거가 있는 값으로 대체한다.
• 범주형 변수는 영향도 코드화 또는 영향도 코딩 방식으로 인코딩되어 차원을 줄이면서도 예측 능력을 유지한다.
• 고카디널리티를 가진 범주형 변수의 경우, 과적합을 방지하기 위해 정규화된 타겟 인코딩을 적용한다.
• 무한값은 결측치로 변환하고, 전역 또는 그룹별 통계치를 사용하여 이를 보간한다.
• 모든 전처리 단계가 훈련 데이터와 테스트 데이터에 동일하게 적용되어 데이터 누출을 방지한다.
• 재현 가능성을 보장하고 모델 훈련 과정에서의 중첩 편향을 방지하기 위해 파이프라인 기반 설계를 사용한다.

실험 결과

연구 질문

• RQ1 예측 모델링 워크플로우에서 데이터 전처리를 어떻게 통계적으로 타당하고 재현 가능하게 만들 수 있는가?
• RQ2 실세계 데이터셋에서 결측치, 무한값, 잘못된 데이터를 효과적으로 다루는 가장 좋은 방법은 무엇인가?
• RQ3 고카디널리티를 가진 범주형 변수를 과적합이나 편향을 유발하지 않도록 어떻게 인코딩할 수 있는가?
• RQ4 모델 훈련 이전에 데이터를 전처리할 때 데이터 누출을 방지하기 위한 기법은 무엇인가?
• RQ5 생산 환경의 모델에서 추론 시에 볼 수 없는 범주형 수준을 어떻게 견고하게 다룰 수 있는가?

주요 결과

• Vtreat는 훈련 세트와 테스트 세트 간에 전처리 과정이 일관되게 적용되고 데이터 누출이 방지되므로 모델링 편향을 효과적으로 줄인다.
• 전역 또는 그룹별 통계치를 사용하여 무한값과 결측치를 의미 있는 보간 값으로 변환함으로써 패키지가 효과적으로 이를 처리한다.
• 정규화된 타겟 인코딩을 통해 고카디널리티 범주형 변수에 과적합을 방지하면서도 예측 유용성을 유지한다.
• 훈련 과정에서 보이지 않았지만 추론 시에 나타나는 희귀 또는 새로운 범주형 수준을 정확히 다룸으로써 Vtreat는 모델의 안전한 배포를 가능하게 한다.
• 파이프라인 기반 설계를 통해 재현 가능성이 보장되고 데이터 준비 워크플로우에서 흔히 발생하는 함정을 제거한다.
• 실증 결과에 따르면 Vtreat로 전처리된 데이터로 훈련된 모델들은 생산 환경에서 더 나은 일반화 능력과 안정성을 보였다.