[논문 리뷰] Improved Heterogeneous Distance Functions

D.R. Wilson, Tony Martinez|arXiv (Cornell University)|1997. 01. 01.

Machine Learning and Data Classification참고 문헌 55인용 수 55

한 줄 요약

이 논문은 인스턴스 기반 학습에서 명목형 및 연속형 속성을 모두 효과적으로 처리할 수 있는 세 가지 새로운 이질적 거리 함수—HVDM, IVDM, WVDM—를 제안한다. 정규화, 보간 또는 윈도우링을 사용하여 VDM 원칙을 연속형 데이터에 통합함으로써, 특히 혼합된 속성 유형을 가진 데이터셋에서 이전 방법보다 유의미하게 높은 분류 정확도를 달성한다. IVDM는 전체적으로 가장 우수한 성능을 보였다.

ABSTRACT

Instance-based learning techniques typically handle continuous and linear input values well, but often do not handle nominal input attributes appropriately. The Value Difference Metric (VDM) was designed to find reasonable distance values between nominal attribute values, but it largely ignores continuous attributes, requiring discretization to map continuous values into nominal values. This paper proposes three new heterogeneous distance functions, called the Heterogeneous Value Difference Metric (HVDM), the Interpolated Value Difference Metric (IVDM), and the Windowed Value Difference Metric (WVDM). These new distance functions are designed to handle applications with nominal attributes, continuous attributes, or both. In experiments on 48 applications the new distance metrics achieve higher classification accuracy on average than three previous distance functions on those datasets that have both nominal and continuous attributes.

연구 동기 및 목표

• 기존 거리 함수가 명목형 및 연속형 속성을 동시에 처리하는 데에 한계가 있다는 문제를 해결하기 위해.
• 기존 VDM 기반 접근 방식에서 연속형 속성을 이산화함으로써 발생하는 정보 손실을 해결하기 위해.
• 혼합된 속성 유형을 가진 실제 데이터셋에서 높은 일반화 정확도를 유지하는 거리 측정법을 개발하기 위해.
• 이질적 데이터에 대한 이산화의 이론적으로 타당하고 경험적으로 검증된 대안을 제공하기 위해, 인스턴스 기반 학습 시스템에서 사용 가능하도록.

제안 방법

• HVDM은 연속형 속성에 대해 유클리드 거리를, 명목형 속성에 대해 VDM을 사용하며, 척도를 균형 있게 맞추기 위해 정규화를 적용한다.
• IVDM은 VDM을 확장하여 연속값을 VDM의 확률 분포 프레임워크에 보간함으로써, 연속형 데이터를 직접 사용할 수 있도록 한다.
• WVDM는 연속값 주변의 확률 분포를 슬라이딩 윈도우를 사용해 추정하며, 연속형 입력에 대해서도 VDM의 논리를 유지한다.
• 세 거리 측정법 모두 기존의 인스턴스 기반 학습 시스템(예: k-NN 및 라디얼 기저 함수 네트워크)과 호환되도록 설계되었다.
• 정규화 및 확률 기반 거리 계산을 통합하여 다양한 속성 유형 간에 강건성을 확보한다.
• 이론적으로는 이산화를 피함으로써 정보 손실을 줄이고, 연속형 속성에 대한 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 이산화 없이도 명목형 및 연속형 속성을 동시에 처리할 수 있는 거리 함수는 어떻게 설계할 수 있는가?
• RQ2 이산화를 피할 경우, 이질적 데이터셋에서 분류 정확도에 어떤 영향을 미치는가?
• RQ3 IVDM과 WVDM은 HVDM 및 이산화된 VDM(DVDM)에 비해 정확도와 효율성 측면에서 어떻게 비교되는가?
• RQ4 VDM 기반 측정법을 이론적 기반을 유지하면서 연속형 속성으로 확장할 수 있는가?
• RQ5 IVDM과 WVDM은 혼합 속성 학습 과제에서 전통적 거리 함수를 초월하는 조건은 무엇인가?

주요 결과

• 48개의 실제 데이터셋에서 IVDM과 WVDM은 HVDM, DVDM, HOEM 및 유클리드 거리보다 평균적으로 높은 분류 정확도를 달성했다.
• IVDM은 정확도에서 WVDM를 略로 뛰어넘었으며, 처리 시간과 저장 공간을 더 적게 소비해 전체적으로 가장 효율적인 것으로 나타났다.
• 이산화 기반 접근 방식에 비해 정보 손실이 유의미하게 줄었으며, 혼합 속성 데이터셋에서 일반화 능력이 향상되었다.
• HVDM는 IVDM과 WVDM보다 성능이 열 劣하였으며, 유클리드 거리와 VDM을 조합하는 방식이 VDM 프레임워크에 연속형 데이터를 완전히 통합하는 것보다 덜 효과적임을 시사한다.
• 명목형 속성이 없는 데이터셋에서는 적절히 정규화된 유클리드 거리가 여전히 경쟁력 있는 성능을 보였으며, 이는 동질적 케이스에서의 적합성을 확인한다.
• 결과적으로 IVDM은 명목형 및 연속형 속성을 혼합한 이질적 응용 분야에 가장 적합한 거리 함수로 나타났다.