[論文レビュー] SuSi: Supervised Self-Organizing Maps for Regression and Classification in Python

Felix M. Riese, Sina Keller|arXiv (Cornell University)|Mar 26, 2019

Neural Networks and Applications被引用数 16

ひとこと要約

本論文では、回帰および分類タスク向けに、教師あり自己組織化マップ（SOM）を実装する、フリーでオープンソースのPythonパッケージであるSuSiを紹介する。非教師ありSOM学習と教師あり学習を統合することで、特に小規模データセットにおいて一般化性能を向上させ、多様な地理空間データセットにおいて、トレーニング・テストの性能差が最小限に抑えられた頑健な性能を示している。

ABSTRACT

In many research fields, the sizes of the existing datasets vary widely. Hence, there is a need for machine learning techniques which are well-suited for these different datasets. One possible technique is the self-organizing map (SOM), a type of artificial neural network which is, so far, weakly represented in the field of machine learning. The SOM's unique characteristic is the neighborhood relationship of the output neurons. This relationship improves the ability of generalization on small datasets. SOMs are mostly applied in unsupervised learning and few studies focus on using SOMs as supervised learning approach. Furthermore, no appropriate SOM package is available with respect to machine learning standards and in the widely used programming language Python. In this paper, we introduce the freely available Supervised Self-organizing maps (SuSi) Python package which performs supervised regression and classification. The implementation of SuSi is described with respect to the underlying mathematics. Then, we present first evaluations of the SOM for regression and classification datasets from two different domains of geospatial image analysis. Despite the early stage of its development, the SuSi framework performs well and is characterized by only small performance differences between the training and the test datasets. A comparison of the SuSi framework with existing Python and R packages demonstrates the importance of the SuSi framework. In future work, the SuSi framework will be extended, optimized and upgraded e.g. with tools to better understand and visualize the input data as well as the handling of missing and incomplete data.

研究の動機と目的

• 機械学習分野における自己組織化マップ（SOM）のための標準化され、良好にドキュメント化され、積極的にメンテナンスされているPythonパッケージの不足に対処すること。
• 回帰および分類における非教師ありおよび教師ありSOM応用を統合したフレームワークを提供すること。
• SOMの近傍構造を活用することで、過学習を低減し、小規模データセットにおいても頑健な機械学習性能を実現すること。
• 特にハイパースペクトル画像解析を含む実用的地理空間応用を支援するために、データ関係の解釈可能な2次元可視化を提供すること。
• 今後の拡張の基盤を確立すること、例えば欠損データの処理や強化された解釈性ツールの実装を含む。

提案手法

• 2段階のプロセスを実装する：まず、競争学習と近傍に基づく重み更新を用いて、入力データに対して非教師ありSOMを訓練する。
• 教師あり学習拡張を導入し、出力ニューロンを、回帰または分類のターゲット変数を予測するためにバックプロパゲーションに類似した更新で訓練する。
• 近傍関数（例：ガウスカーネル）を適用して、隣接するニューロンに重み更新を伝搬させ、トポロジカル構造を保持する。
• 一貫した変数命名規則とオブジェクト指向設計を採用することで、コードの明確さとscikit-learnの基準との互換性を確保する。
• TensorFlowベースのバージョンではGPUサポートを統合し、Python 3およびPyPIとの互換性を確保して、インストールを容易にする。
• 2次元SOMグリッドによる可視化を通じて、データクラスタリングやクラス分布を解釈可能にし、モデルの解釈性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 scikit-learn風の使いやすさと保守性を備えた、Pythonで効果的に教師ありSOMフレームワークを実装できるか？
• RQ2 小規模および大規模なデータセットにおける回帰および分類タスクにおいて、SuSiの性能は、既存の機械学習モデル（例：ランダムフォレスト）と比較してどの程度優れているか？
• RQ3 SOMの近傍構造が、特に小規模データセットにおいて教師あり学習での過学習をどの程度低減できるか？
• RQ4 地理空間応用において、複雑なデータ関係の2次元可視化を通じて、SuSiフレームワークが解釈性をどの程度サポートできるか？
• RQ5 機能、ドキュメンテーション、拡張性の観点から、既存のPythonおよびRのSOMパッケージと比較して、SuSiの主な利点は何か？

主な発見

• SuSiフレームワークは、トレーニングセットとテストセットの指標の差が最小限に抑えられ、過学習がほとんどない安定した性能を示しており、たとえ679サンプルという小規模データセットであっても同様である。
• サリナスバレーのハイパースペクトル分類タスクにおいて、SuSi分類SOMはランダムフォレスト分類器と同等の性能を達成したが、トレーニングセットでの過学習が著しく少なかった。
• 2次元SOMグリッドは、トレーニング中の近傍制約のおかげで、同じクラスに属するニューロンが集まっていることから、データ構造を効果的に可視化している。
• SuSiパッケージは、洗練されたscikit-learn風APIを備えた、回帰および分類の両方をサポートする最初のPython実装であり、エコシステムにおける重要な空白を埋めている。
• 既存のパッケージと比較して、SuSiは教師あり学習、包括的なドキュメンテーション、およびPyPIを介した簡単なインストールを独自にサポートしており、継続的な開発が行われている。
• 訓練セットの性能をアウトオブバッグ推定として利用できるというフレームワークの能力は、データ分割が非現実的である場合に、特に訓練効率の向上に寄与する可能性がある。