[논문 리뷰] Nearest Neighbor Imputation for Categorical Data by Weighting of Attributes

Shahla Faisal, Gerhard Tutz|arXiv (Cornell University)|2017. 10. 03.

Sensory Analysis and Statistical Methods인용 수 5

한 줄 요약

이 논문은 커널 기반 거리 측도를 통해 속성 간 연관성을 활용하여 범주형 데이터에 대한 새로운 가중치가 부여된 최근접 이웃 보간 방법 wNNSel_cat을 제안한다. 속성에 따라 가중치를 부여함으로써, 전통적인 방법들보다 보간 오차를 감소시킨다. 특히 DNA 프ом터 및 림프오그래피 데이터와 같은 실세계 데이터에서 wNNSel_dum(더미 변수와 상관관계를 사용)이 다중범주형 데이터에서 wNNSel_cat을 능가한다.

ABSTRACT

Missing values are a common phenomenon in all areas of applied research. While various imputation methods are available for metrically scaled variables, methods for categorical data are scarce. An imputation method that has been shown to work well for high dimensional metrically scaled variables is the imputation by nearest neighbor methods. In this paper, we extend the weighted nearest neighbors approach to impute missing values in categorical variables. The proposed method, called $\mathtt{wNNSel_{cat}}$, explicitly uses the information on association among attributes. The performance of different imputation methods is compared in terms of the proportion of falsely imputed values. Simulation results show that the weighting of attributes yields smaller imputation errors than existing approaches. A variety of real data sets is used to support the results obtained by simulations.

연구 동기 및 목표

• 결측치가 있는 범주형 데이터에 대한 효과적인 보간 방법의 부족을 해결하기 위해.
• 가중치가 부여된 거리 측도를 통해 범주형 속성 간 연관성을 통합하여 최근접 이웃 보간을 향상시키기 위해.
• 사전에 이웃 수(k)를 지정할 필요 없이, 보간 오차를 줄이는 방법을 개발하기 위해.
• 시뮬레이션과 실세계 데이터를 사용하여 wNNSel_cat이 기존 방법들인 모드 보간, 랜덤 포레스트, wNNSel_dum과 비교하여 성능을 평가하기 위해.

제안 방법

• 속성 간 연관성을 기반으로 가중치를 할당하는 커널 함수(Gaussian 및 삼각형)를 사용하는 가중 거리 측도 d_SelCat을 제안한다.
• 최적의 조정 파rameter를 자동으로 선택하기 위해 교차검증 알고리즘을 사용하여 사전에 k를 고정할 필요 없이 처리한다.
• 교차표에서 유래한 연관 정보를 활용하여, 강한 상관관계가 있는 속성에 더 높은 가중치를 거리 계산에 할당한다.
• 거리 값을 변환하기 위해 커널 함수를 적용하며, q는 대역폭을 조절한다. 다양한 커널 유형에 대해 성능을 평가한다.
• wNNSel_cat과 범주형 변수를 더미 변수로 변환하고 피어슨 상관계수를 사용해 거리를 계산하는 wNNSel_dum을 비교한다.
• 커널 가중 거리에서 유도된 가중치를 기반으로 최근접 이웃의 가중 모드를 사용해 결측치를 보간한다.

실험 결과

연구 질문

• RQ1 거리 측도에 속성 간 연관성을 통합하면, 범주형 데이터의 최근접 이웃 보간 성능이 향상되는가?
• RQ2 제안된 wNNSel_cat 방법은 기존의 k-NN 및 모드 보간보다 보간 오차를 줄이는가?
• RQ3 다양한 커널 함수(Gaussian 대비 삼각형)와 조정 파rameter(q)는 보간 성능에 어떤 영향을 미치는가?
• RQ4 더미 변수와 상관계수를 사용하는 wNNSel_dum은 다중범주형 데이터에서 wNNSel_cat을 능가하는가?
• RQ5 다양한 결측률을 가진 다양한 실세계 데이터 세트에서 이 방법은 어떻게 성능을 발휘하는가?

주요 결과

• wNNSel_cat 방법은 커널 가중 거리 측도를 통해 속성 간 연관성을 활용함으로써 보간 오차를 크게 감소시킨다.
• 다중범주형 데이터에서는 wNNSel_dum(더미 변수와 상관계수 사용)이 wNNSel_cat보다 더 낮은 보간 오차를 기록했으며, 특히 DNA 프로모터 및 림프오그래피 데이터에서 두드러졌다.
• DNA 및 림프오그래피 데이터에서는 가우시안 커널이 삼각형 커널보다 더 낮은 보간 오차를 기록했지만, SPECT 데이터에서는 두 커널이 유사한 성능을 보였다.
• q의 값은 성능에 미미한 영향을 미쳤으며, 모든 데이터 세트에서 q=1과 q=2에서 유사한 결과를 보였다.
• 이진 데이터(SPECT)의 경우, wNNSel_cat과 wNNSel_dum이 거의 동일한 성능을 보였으며, 저차원의 범주형 환경에서의 강건성을 확인했다.
• 실세계 데이터 적용에서 wNNSel_dum은 가장 낮은 PFC(잘못 보간된 값의 비율)를 기록했으며, 특히 DNA 프로모터 데이터에서 30% 결측률일 때 PFC = 0.4586을 기록하여 랜덤 포레스트조차도 능가했다.