[논문 리뷰] A Survey and Implementation of Performance Metrics for Self-Organized Maps

Florent Forest, Mustapha Lebbah외 2명|arXiv (Cornell University)|2020. 11. 11.

Advanced Clustering Algorithms Research인용 수 6

한 줄 요약

이 논문은 자기조직화 맵(SOMs)를 위한 내부 및 외부 성능 지표의 포괄적인 세트를 구현한 오픈소스 파이썬 라이브러리인 SOMperf를 제안한다. 주로 위상적 및 군집 검증 지표에 대한 접근성 있고 잘 문서화된 구현 부족 문제를 해결하기 위해, 위상 오차, 양자화 오차, 클래스 산산이 흩어진 지수 등과 같은 지표를 효율적이고 재사용 가능한 코드로 제공함으로써 데이터 마이닝 응용 분야에서 강력한 모델 평가 및 선택을 가능하게 한다.

ABSTRACT

Self-Organizing Map algorithms have been used for almost 40 years across various application domains such as biology, geology, healthcare, industry and humanities as an interpretable tool to explore, cluster and visualize high-dimensional data sets. In every application, practitioners need to know whether they can \ extit{trust} the resulting mapping, and perform model selection to tune algorithm parameters (e.g. the map size). Quantitative evaluation of self-organizing maps (SOM) is a subset of clustering validation, which is a challenging problem as such. Clustering model selection is typically achieved by using clustering validity indices. While they also apply to self-organized clustering models, they ignore the topology of the map, only answering the question: do the SOM code vectors approximate well the data distribution? Evaluating SOM models brings in the additional challenge of assessing their topology: does the mapping preserve neighborhood relationships between the map and the original data? The problem of assessing the performance of SOM models has already been tackled quite thoroughly in literature, giving birth to a family of quality indices incorporating neighborhood constraints, called \ extit{topographic} indices. Commonly used examples of such metrics are the topographic error, neighborhood preservation or the topographic product. However, open-source implementations are almost impossible to find. This is the issue we try to solve in this work: after a survey of existing SOM performance metrics, we implemented them in Python and widely used numerical libraries, and provide them as an open-source library, SOMperf. This paper introduces each metric available in our module along with usage examples.

연구 동기 및 목표

• 데이터 마이닝에서 널리 사용되지만, SOM 성능 지표에 대한 오픈소스 구현이 부족한 문제를 해결하기 위해.
• SOM에 특화된 내부 및 외부 검증 지표 세트를 체계적으로 조사하고 구현하기 위해, 위상적 및 군집 품질 측정 지표를 포함한다.
• 연구 및 산업 현장에서 실용적으로 사용할 수 있도록 사용자 친화적이고 잘 문서화된 파이썬 라이브러리(SOMperf)를 제공하기 위해.
• 데이터 근사화(군집화)와 위상적 보존(이웃 구조)을 정량적으로 평가하여 신뢰할 수 있는 모델 선택을 가능하게 하기 위해.
• 원본 논문과 일치하는 예제 및 테스트 노트북을 포함하여 재현 가능성과 벤치마킹을 지원하기 위해.

제안 방법

• 이웃 제약 조건을 포함하는 위상 지표에 초점을 맞춘 SOM 성능 지표에 관한 기존 문헌을 조사하였다.
• 효율적인 수치 라이브러리(NumPy, SciPy, scikit-learn)를 사용하여 주요 지표—위상 오차, 양자화 오차, 병합 오차, 크루스칼-셰퍼드 스트레스, C 지수, 클래스 산산이 흩어진 지수—를 구현하였다.
• 모듈러 구조로 설계된 SOMperf 라이브러리: 지표(내부/외부), 유틸리티(위상 및 이웃 함수), 재사용 가능한 거리 함수.
• 직사각형, 육각형 등의 다양한 맵 위상과 가우시안, 윈도우 등의 이웃 커널을 지원하여 다양한 SOM 구성에 유연성을 확보하였다.
• 합성 및 실세계 데이터에서 지표 계산을 보여주는 예제와 테스트 노트북을 제공하여, 초기 논문의 주요 실험을 재현하였다.
• 외부 검증에서 최적의 레이블 할당을 위해 헝가리어 알고리즘을 통합하여, 참값이 존재할 경우 정확도 및 0-1 손실 계산이 가능하도록 하였다.

실험 결과

연구 질문

• RQ1 기존의 SOM 성능 지표를 재사용 가능한 오픈소스 형식으로 체계적으로 조사하고 구현할 수 있는 방법은 무엇인가?
• RQ2 위상 오차 및 병합 오차와 같은 위상 지표가 표준 군집 지표보다 SOM 위상 품질을 얼마나 더 잘 반영하는가?
• RQ3 통합적이고 잘 문서화된 파이썬 라이브러리가 실제 응용 분야에서 SOM 모델의 재현 가능성과 실용적 평가를 어떻게 향상시킬 수 있는가?
• RQ4 균일 분포 또는 줄무늬 모양의 데이터와 같은 다양한 위상 조직 수준에서 다양한 지표는 어떻게 행동하는가?
• RQ5 병합 지표는 SOM에서 데이터 근사화와 위상 보존 사이의 최적 트레이드오프를 효과적으로 식별할 수 있는가?

주요 결과

• 위상 오차는 위상 조직도가 감소할수록 증가함을 확인하여, SOM에서 이웃 보존에 대한 민감도를 확인하였다.
• 병합 오차 지표는 양자화 오차와 위상 오차 사이의 최적 트레이드오프를 성공적으로 식별하였으며, 개별 지표보다 더 나은 맵 구성 선택을 가능하게 하였다.
• 1차원 줄무늬 분포 예제에서 오직 병합 오차만 직선 해를 최적으로 식별하였으며, 개별 지표는 과적합과 과소적합을 구분하지 못하였다.
• C 지수와 크루스칼-셰퍼드 스트레스는 맵의 질서가 감소할수록 감소함을 확인하여, 위상 파손에 대한 민감도를 검증하였다.
• 클래스 산산이 흩어진 지수(CSI)는 맵 상의 클래스 그룹의 밀도를 효과적으로 측정하며, 높은 값은 더 나은 군집화 구조와 해석 가능성과 관련이 있다.
• SOMperf 라이브러리는 주요 논문의 핵심 실험 결과를 성공적으로 재현하여, 구현된 지표의 정확성과 신뢰성을 확인하였다.