[논문 리뷰] Sufficient Representations for Categorical Variables

Jonathan Johannemann, Vitor Hadad외 2명|arXiv (Cornell University)|2019. 08. 26.

Statistical Methods and Inference참고 문헌 29인용 수 11

한 줄 요약

이 논문은 고기수 카디널리티를 가진 범주형 변수에 대해 충분한 잠재 상태 가정 하에 저차원이며 정보를 유지하는 표현을 제안하며, 이는 일대일 인코딩의 비효율성 없이 군집 효과를 모델링할 수 있는 보편적 일致성 추정기를 가능하게 한다. 이를 통해 저랭크 및 희소 저랭크 인코딩과 같은 방법이 기존 방법보다 뛰어나며, 특히 카테고리 수가 증가할수록 성능이 뛰어나다는 것을 입증한다.

ABSTRACT

Many learning algorithms require categorical data to be transformed into real vectors before it can be used as input. Often, categorical variables are encoded as one-hot (or dummy) vectors. However, this mode of representation can be wasteful since it adds many low-signal regressors, especially when the number of unique categories is large. In this paper, we investigate simple alternative solutions for universally consistent estimators that rely on lower-dimensional real-valued representations of categorical variables that are "sufficient" in the sense that no predictive information is lost. We then compare preexisting and proposed methods on simulated and observational datasets.

연구 동기 및 목표

• 회귀 및 머신러닝에서 고기수 카디널리티를 가진 범주형 변수에 대한 일대일 인코딩의 비효율성을 해결한다.
• 모든 예측 정보를 유지하는 저차원 실수값 표현을 학습하기 위한 프레임워크를 개발한다.
• 이러한 표현을 사용하여 손실 없이 신호를 유지하고 모델 복잡도가 증가하지 않는 보편적 일치 추정기를 가능하게 한다.
• 모의 및 실세계 데이터셋에서 제안된 인코딩 방법의 성능을 평가하며, 특히 카테고리 수가 많은 환경에서의 성능을 분석한다.
• 고기수 카디널리티를 가진 범주형 변수가 흔한 원인 인과 추론, 특히 双중으로 강건한 치료 효과 추정에 적용 가능함을 지원한다.

제안 방법

• 충분한 잠재 상태 가정 도입: 군집 소속 G_i 는 관측되지 않은 잠재 변수 L_i 를 통해 결과 Y_i 에 영향을 주며, 직접적으로는 영향을 주지 않는다.
• 예측 정보 손실이 없도록 보장하는 표현 매핑 ψ: G → ℝ^k 를 정의하며, μ(x,g) = f(x, ψ(g)) 를 만족시킨다.
• ψ 를 학습하기 위해 평균, 다항로지스틱회귀(MNL), 저랭크, 희소 저랭크 분해와 같은 인코딩 방법을 제안한다.
• 과적합을 방지하기 위해 K-폴드 교차검증을 사용하여 저랭크 및 희소 저랭크 방법의 최적 차원 k 를 선택한다.
• 학습된 ψ 를 활용해 범주형 변수를 압축된 실수값 벡터로 변환하여 표준 회귀 모델에 활용한다.
• 실증적 평가를 위해 랜덤 포레스트 및 XGBoost 와 같은 후행 모델에 이러한 표현을 통합한다.

실험 결과

연구 질문

• RQ1 고기수 카디널리티를 가진 범주형 변수에 대해 모든 예측 정보를 유지하는 저차원 실수값 표현을 학습할 수 있는가?
• RQ2 예측 정확도와 강건성 측면에서 평균, MNL, 저랭크 등의 다양한 인코딩 방법이 일대일 인코딩에 비해 어떻게 비교되는가?
• RQ3 기존 방법이 비효율해지는 상황에서 카테고리 수가 증가함에 따라 이러한 표현의 성능이 향상되는가?
• RQ4 복잡한 고기수 카디널리티를 가진 실세계 데이터셋에서 이러한 표현이 모델 성능 향상에 얼마나 기여하는가?
• RQ5 이러한 표현은 이중으로 강건한 치료 효과 추정과 같은 원인 인과 추론 파ipeline에서 효과적으로 사용될 수 있는가?

주요 결과

• 저랭크 및 희소 저랭크 인코딩 방법은 특히 카테고리 수가 많은 데이터셋에서 레지션 숲에서 일대일 인코딩 및 기타 기준 방법보다 일관되게 뛰어난 성능을 보였다.
• 파키스탄 주거 데이터셋에서, 저랭크 인코딩은 레지션 숲에서 일대일 인코딩 대비 평균제곱오차(MSE)를 17.4% 감소시켰다(MSE: 8.228 대 9.963).
• XGBoost 에서는 저랭크 및 희소 저랭크 방법이 일대일 인코딩과 유의미한 성능 향상 없이 유사한 성능을 보였으며, p-값을 통해 유의미한 차이가 없음을 확인했다.
• 에임즈 주거 데이터셋에서는 고차원 공변량(p=80) 대비 그룹 수(|G|=25)가 상대적으로 적어 다른 인코딩 방법의 이점이 미미했다. 이는 특징 공간 크기가 성능 향상의 한계를 가질 수 있음을 시사한다.
• 저랭크 방법이 다양한 데이터셋에서 가장 강건한 성능을 보였으며, 이는 교차검증을 통해 작은 k 를 선택함으로써 저랭크 구조를 포착하고 노이즈를 감소시킬 수 있기 때문이다.
• 충분한 잠재 상태 가정은 정보를 유지하는 표현 개발을 가능하게 하여 제안된 인코딩 기법의 이론적 기반을 검증하였다.