[논문 리뷰] SuSi: Supervised Self-Organizing Maps for Regression and Classification in Python

Felix M. Riese, Sina Keller|arXiv (Cornell University)|2019. 03. 26.

Neural Networks and Applications인용 수 16

한 줄 요약

이 논문은 회귀 및 분류 작업을 위한 감독 학습을 통한 자기조직화 맵(SOMs)을 구현한 무료이고 오픈소스인 파이썬 패키지인 SuSi를 소개한다. 비감독 학습을 통한 SOM 훈련과 감독 학습을 융합하여 일반화 성능을 향상시키며, 특히 소규모 데이터셋에서 뛰어난 성능을 보이며 다양한 지리공간 데이터셋에서 훈련-테스트 성능 격차가 최소화된 안정적인 성능을 입증한다.

ABSTRACT

In many research fields, the sizes of the existing datasets vary widely. Hence, there is a need for machine learning techniques which are well-suited for these different datasets. One possible technique is the self-organizing map (SOM), a type of artificial neural network which is, so far, weakly represented in the field of machine learning. The SOM's unique characteristic is the neighborhood relationship of the output neurons. This relationship improves the ability of generalization on small datasets. SOMs are mostly applied in unsupervised learning and few studies focus on using SOMs as supervised learning approach. Furthermore, no appropriate SOM package is available with respect to machine learning standards and in the widely used programming language Python. In this paper, we introduce the freely available Supervised Self-organizing maps (SuSi) Python package which performs supervised regression and classification. The implementation of SuSi is described with respect to the underlying mathematics. Then, we present first evaluations of the SOM for regression and classification datasets from two different domains of geospatial image analysis. Despite the early stage of its development, the SuSi framework performs well and is characterized by only small performance differences between the training and the test datasets. A comparison of the SuSi framework with existing Python and R packages demonstrates the importance of the SuSi framework. In future work, the SuSi framework will be extended, optimized and upgraded e.g. with tools to better understand and visualize the input data as well as the handling of missing and incomplete data.

연구 동기 및 목표

• 머신러닝 분야에서 표준화되고 문서화가 잘 되어 있으며 활발히 유지 관리되는 파이썬 패키지가 부족한 문제를 해결한다.
• 회귀 및 분류 작업에서 비감독 학습과 감독 학습을 모두 통합한 유일한 프레임워크를 제공한다.
• SOM의 이웃 구조를 활용하여 과적합을 줄이고, 소규모 데이터셋에서도 강력한 머신러닝 성능을 달성한다.
• 해석 가능한 2차원 시각화를 통해 지리공간 응용, 특히 고분해능 스펙트럼 영상 분석 분야에서 실용적인 지원을 제공한다.
• 미래의 확장 기반을 마련하며, 결측치 처리 및 해석 가능성 향상 도구 등에 대응한다.

제안 방법

• 두 단계 프로세스를 구현한다: 첫 번째 단계로 경쟁 학습과 이웃 기반 가중치 갱신을 사용하여 입력 데이터에 대해 비감독 SOM을 훈련시킨다.
• 감독 학습 확장 기능을 도입하여 출력 뉴런이 목표 변수(회귀 또는 분류)를 예측하도록 백프로파게이션 유사 갱신 방식으로 훈련시킨다.
• 이웃성 함수(예: 가우시안 커널)를 적용하여 이웃 뉴런으로 가중치 갱신을 전파함으로써 위상적 구조를 유지한다.
• 코드의 명확성과 scikit-learn 표준과의 호환성을 확보하기 위해 일관된 변수 이름 규칙과 객체 지향 설계를 사용한다.
• TensorFlow 기반 변형에 GPU 지원을 통합하고, 파이썬 3 및 PyPI 호환성을 확보하여 설치를 용이하게 한다.
• 모델의 해석 가능성을 향상시키기 위해 데이터 군집 및 클래스 분포를 이해하기 쉽게 2차원 SOM 격자로 결과를 시각화한다.

실험 결과

연구 질문

• RQ1 scikit-learn 스타일의 사용성과 유지보수성으로 파이썬에서 감독 학습을 통한 SOM 프레임워크를 효과적으로 구현할 수 있는가?
• RQ2 소규모 및 대규모 데이터셋에서 SuSi의 성능이 기존 머신러닝 모델(예: 랜덤 포레스트)과 비교해 어떻게 되는가?
• RQ3 SOM의 이웃 구조가 특히 소규모 데이터셋에서 감독 학습 시 과적합을 얼마나 줄이는가?
• RQ4 지리공간 응용 분야에서 복잡한 데이터 관계를 2차원 시각화를 통해 해석 가능성에 얼마나 잘 기여하는가?
• RQ5 기존의 파이썬 및 R SOM 패키지와 비교해 SuSi의 주요 장점은 기능, 문서화, 확장성 측면에서 무엇인가?

주요 결과

• 679개의 샘플 뿐인 소규모 데이터셋에서도 SuSi 프레임워크는 훈련 세트와 테스트 세트의 지표 간 차이가 극히 작아 안정적인 성능을 보이며 과적합이 적다는 것을 입증했다.
• 사라이나스 밸리 고분해능 분류 작업에서 SuSi 분류 SOM은 랜덤 포레스트 분류기와 유사한 성능을 보였고, 훈련 세트에서의 과적합도가 훨씬 낮았다.
• 2차원 SOM 격자는 데이터의 구조를 효과적으로 시각화하며, 훈련 중 이웃 제약 조건으로 인해 같은 클래스에 속하는 뉴런들이 서로 뭉쳐 있는 경향을 보였다.
• SuSi 패키지는 깔끔한 scikit-learn 스타일의 API를 제공하며, 감독 학습을 통한 회귀 및 분류를 동시에 지원하는 최초의 파이썬 구현체로, 생태계의 핵심적 공백을 메웠다.
• 기존 패키지들과 비교해 SuSi는 감독 학습 지원, 포괄적인 문서화, PyPI를 통한 설치 용이성 외에도 활발한 개발을 유지하고 있다.
• 훈련 세트 성능를 out-of-bag 추정치로 활용할 수 있다는 점은, 데이터 분할이 불가능한 경우 특히 훈련 효율성을 향상시킬 잠재적 가능성을 시사한다.