[論文レビュー] A Survey and Implementation of Performance Metrics for Self-Organized Maps

Florent Forest, Mustapha Lebbah+2 more|arXiv (Cornell University)|Nov 11, 2020

Advanced Clustering Algorithms Research被引用数 6

ひとこと要約

本稿では、自己組織化マップ（SOM）の内部および外部のパフォーマンス指標を包括的に実装するオープンソースのPythonライブラリであるSOMperfを提案する。トポグラフィーおよびクラスタリングの妥当性インデックスの実装が不足している現状を踏まえ、トポグラフィックエラー、量子化エラー、クラススキャットヤーインデックスなどの指標を効率的かつ再利用可能なコードとして提供することで、データマイニング応用におけるモデルの評価と選定を強化する。

ABSTRACT

Self-Organizing Map algorithms have been used for almost 40 years across various application domains such as biology, geology, healthcare, industry and humanities as an interpretable tool to explore, cluster and visualize high-dimensional data sets. In every application, practitioners need to know whether they can \ extit{trust} the resulting mapping, and perform model selection to tune algorithm parameters (e.g. the map size). Quantitative evaluation of self-organizing maps (SOM) is a subset of clustering validation, which is a challenging problem as such. Clustering model selection is typically achieved by using clustering validity indices. While they also apply to self-organized clustering models, they ignore the topology of the map, only answering the question: do the SOM code vectors approximate well the data distribution? Evaluating SOM models brings in the additional challenge of assessing their topology: does the mapping preserve neighborhood relationships between the map and the original data? The problem of assessing the performance of SOM models has already been tackled quite thoroughly in literature, giving birth to a family of quality indices incorporating neighborhood constraints, called \ extit{topographic} indices. Commonly used examples of such metrics are the topographic error, neighborhood preservation or the topographic product. However, open-source implementations are almost impossible to find. This is the issue we try to solve in this work: after a survey of existing SOM performance metrics, we implemented them in Python and widely used numerical libraries, and provide them as an open-source library, SOMperf. This paper introduces each metric available in our module along with usage examples.

研究の動機と目的

• データマイニング分野で広く用いられているにもかかわらず、SOMパフォーマンス指標のオープンソース実装が不足している現状に対処すること。
• トポグラフィーおよびクラスタリング品質の測定を目的とした、内部および外部の妥当性インデックスの包括的セットを調査・実装すること。
• 研究および産業分野での実用的利用を想定し、ユーザーフレンドリーで良好にドキュメント化されたPythonライブラリ（SOMperf）を提供すること。
• データ近似（クラスタリング）とトポグラフィー保存（近隣構造）の両方を定量的に評価することで、信頼性の高いモデル選定を可能にすること。
• オリジナルの論文と一致する例題およびテストノートブックを含めることで、再現可能性およびベンチマークの支援を図ること。

提案手法

• 近隣制約を組み込んだトポグラフィーインデックスに焦点を当て、SOMパフォーマンス指標に関する既存の文献を調査した。
• NumPy、SciPy、scikit-learnなどの効率的な数値計算ライブラリを用いて、トポグラフィックエラー、量子化エラー、結合エラー、Kruskal-Shepardストレス、Cメジャー、クラススキャットヤーインデックスなどの主要な指標を実装した。
• モジュラー構造を採用したSOMperfライブラリの設計：メトリクス（内部/外部）、ユーティリティ（トポロジーおよび近隣関数）、再利用可能な距離関数。
• 長方形およびヘキサゴナルの複数のマップトポロジーと、ガウスカーネルおよびウィンドウカーネルを含む複数の近隣カーネルをサポートすることで、SOM設定に応じた柔軟性を確保した。
• 合成データおよび実世界データを用いたメトリクス計算の使用例とテストノートブックを提供し、画期的な実験の再現を含む。
• 外部妥当性評価において最適なラベル割り当てを実現するハンガリアン法を統合し、正解ラベルが利用可能な場合の正解率および0-1損失の計算を可能にした。

実験結果

リサーチクエスチョン

• RQ1 既存のSOMパフォーマンス指標を、再利用可能でオープンソースの形式に体系的に調査・実装することは可能か？
• RQ2 トポグラフィックインデックス（例：トポグラフィックエラー、結合エラー）は、標準的なクラスタリングインデックスに比べて、SOMのトポグラフィー品質をどれほど的確に反映しているか？
• RQ3 統合的で良好にドキュメント化されたPythonライブラリは、実世界の応用におけるSOMモデルの再現可能性および実用的評価を向上させることができるか？
• RQ4 均一に分布したデータやストライプ形状のデータなど、異なるトポグラフィー組織度の下で、さまざまな指標はどのように振る舞うか？
• RQ5 結合指標は、SOMにおけるデータ近似とトポグラフィー保存の最適なトレードオフを効果的に特定できるか？

主な発見

• トポグラフィックエラーは、トポグラフィー組織度が低下するにつれて増加し、SOMにおける近隣保存の感度を確認した。
• 結合エラー指標は、量子化誤差とトポグラフィックエラーの最適なトレードオフを的確に特定でき、個別の指標よりも優れたマップ構成の選定に寄与した。
• 1次元のストライプ分布の例では、結合エラーのみが真の直線解を最適と正しく特定したが、個別の指標は過学習と未学習の区別に失敗した。
• CメジャーおよびKruskal-Shepardストレスは、マップの不規則性が増すにつれて減少し、トポグラフィー劣化に対する感度が裏付けられた。
• クラススキャットヤーインデックス（CSI）は、マップ上でのクラスグループの凝集性を効果的に測定でき、高い値はより良いクラスタ構造と解釈可能性を示した。
• SOMperfライブラリは、画期的な論文の主要な実験結果を正確に再現でき、実装された指標の正しさと信頼性を裏付けた。