[논문 리뷰] Missing values : processing with the Kohonen algorithm

Marie Cottrell, Patrick Letrémy|arXiv (Cornell University)|2007. 01. 05.

Neural Networks and Applications참고 문헌 4인용 수 28

한 줄 요약

이 논문은 Kohonen 자기조직화 맵(SOM)을 사용하여 누락된 데이터를 처리하는 방법을 제안한다. 이는 학습 중에 완전하지 않은 관측치를 직접 처리하고, 반복적으로 클래스별 평균 대체를 통해 누락된 값을 추정하는 알고리즘의 능력을 활용한다. 변수 간 상관관계가 있는 경우, 이 방법은 최대 64%까지의 누락 데이터에서도 높은 분류 정확도와 추정 정밀도를 유지한다. 이는 거시경제, 도시 통계, 정부 지출 데이터를 포함한 세 가지 실세계 데이터셋을 통해 입증되었다.

ABSTRACT

The processing of data which contain missing values is a complicated and always awkward problem, when the data come from real-world contexts. In applications, we are very often in front of observations for which all the values are not available, and this can occur for many reasons: typing errors, fields left unanswered in surveys, etc. Most of the statistical software (as SAS for example) simply suppresses incomplete observations. It has no practical consequence when the data are very numerous. But if the number of remaining data is too small, it can remove all significance to the results. To avoid suppressing data in that way, it is possible to replace a missing value with the mean value of the corresponding variable, but this approximation can be very bad when the variable has a large variance. So it is very worthwhile seeing that the Kohonen algorithm (as well as the Forgy algorithm) perfectly deals with data with missing values, without having to estimate them beforehand. We are particularly interested in the Kohonen algorithm for its visualization properties.

연구 동기 및 목표

• 기존 방법을 사용할 경우 자주 발생하는 데이터 손실이나 편향된 추정을 초래하는 누락된 값을 가진 데이터셋을 분석하는 데 도전하는 것.
• Kohonen 자기조직화 맵(SOM)이 사전 대체나 리스트와이즈 삭제 없이도 불완전한 데이터를 효과적으로 처리할 수 있음을 보여주는 것.
• 특히 변수 간 상관관계가 있는 경우, 최종 코드북 벡터를 클래스 평균으로 사용하여 누락된 값을 추정하는 강력한 방법을 제공하는 것.
• 다양한 누락 비율을 가진 실세계 데이터셋에서 이 방법의 안정성과 정확도를 검증하는 것.
• 표준 소프트웨어가 실패하는 극도로 희박한 데이터셋(예: 64% 누락)에서 SOM이 분류 및 누락값 대체를 수행할 수 있음을 보여주는 것.

제안 방법

• Kohonen 알고리즘을 수정하여 거리 계산을 관측된 성분들만 사용하도록 하며, 승자 코드 벡터는 누락되지 않은 성분들에 대한 제곱차의 합을 기반으로 선정된다.
• 학습 중에 각 관측치의 누락되지 않은 성분들에 대해서만 코드 벡터가 업데이트되며, 이때 학습률은 시간이 지남에 따라 감소한다.
• 수렴 후, 누락된 값들은 승자 코드 벡터의 해당 성분(즉, 클래스 평균)으로 추정된다.
• 멤버십 확률는 역제곱 거리의 소프트맥스 변환을 통해 계산되어 가중치 대체와 불확실성 추정이 가능해진다.
• 보조 관측치(완전하지 않은 것 포함)는 학습 후, 가용한 성분들만 사용하여 가장 가까운 코드 벡터에 할당된다.
• 이 방법은 세 가지 실세계 데이터셋에서 검증되었으며, 사회경제 지표, 도시 통계, 시간에 따른 정부 지출 데이터를 포함한다. 대체 정확도는 평균 제곱오차로 측정되었다.

실험 결과

연구 질문

• RQ1 Kohonen 자기조직화 맵는 사전 대체 없이도 누락된 값을 가진 데이터를 효과적으로 처리하고 분류할 수 있는가?
• RQ2 최종 코드북에서 유도된 클래스별 평균 대체를 사용할 경우, 누락된 값의 추정 정확도는 어느 정도인가?
• RQ3 변수 간 상관관계는 SOM을 사용한 누락값 추정 성능에 어느 정도의 영향을 미치는가?
• RQ4 누락 데이터 비율이 증가함에 따라 생성된 클러스터와 대체 결과의 안정성은 어떻게 되는가?
• RQ5 표준 소프트웨어가 실패하는 극도로 희박한 데이터셋(예: 64% 누락)에서 SOM은 분류 및 대체를 수행할 수 있는가?

주요 결과

• Kohonen 알고리즘은 Ile-de-France 도시 데이터 사례에서 최대 64%까지의 누락 비율을 가진 데이터셋에서도 성공적으로 분류 및 누락값 대체를 수행하였다.
• 정부 지출 데이터셋에서, 연간 최대 3개의 값이 제거된 경우(27% 누락) 평균 제곱오차가 0.73 이하로 유지되어 높은 추정 정확도를 보였다.
• 모든 테스트된 누락 비율 수준에서 안정된 클러스터 구조를 유지하였으며, 3개의 슈퍼클래스(제1차 세계대전 이전, 전쟁 간기, 제2차 세계대전 이후)는 73% 누락 비율에서도 그대로 유지되었다.
• Ile-de-France 데이터의 상관계수 행렬에서 105개의 쌍별 상관계수 중 76개가 0.8를 초과하여, 높은 대체 정확도를 설명하였다.
• 멤버십 확률는 맵의 조직화를 확인하였으며, 높은 확률이 이웃한 클래스에 집중되어 있어 상하이 구조의 타당성을 검증하였다.
• 희박한 데이터셋에서 리스트와이즈 삭제보다 성능이 뛰어나, 완전사례 분석 후 205개 마을 중 5개만 남는 반면, SOM은 모든 관측치를 유지하였다.