[論文レビュー] The Importance of Good Starting Solutions in the Minimum Sum of Squares Clustering Problem

Paweł Kalczyński, Jack Brimberg+1 more|arXiv (Cornell University)|Apr 6, 2020

Facility Location and Emergency Management参考文献 29被引用数 5

ひとこと要約

本論文は、最小二乗二乗クラスタリング問題における高品質な初期解を生成するための3つの新規アルゴリズムを提案し、k-meansなどの局所探索ヒューティックの性能を顕著に向上させている。これらの特化した初期解を用いることで、著者らは5つの新しい最良既知解を達成し、19個の難易度の高い中〜大規模インスタンスのうち18個で最良既知の結果を再現した。これは、単純な局所探索と組み合わせた優れた初期解が、複雑なメタヒューティックスを上回ることを示している。

ABSTRACT

The clustering problem has many applications in Machine Learning, Operations Research, and Statistics. We propose three algorithms to create starting solutions for improvement algorithms for this problem. We test the algorithms on 72 instances that were investigated in the literature. Forty eight of them are relatively easy to solve and we found the best known solution many times for all of them. Twenty four medium and large size instances are more challenging. We found five new best known solutions and matched the best known solution for 18 of the remaining 19 instances.

研究の動機と目的

• 最小二乗二乗クラスタリング問題における局所探索アルゴリズムの収束性が、しばしば不適切な初期クラスタ中心に起因することに起因する、深刻な収束問題に対処すること。
• 標準的な改善ヒューティックスの有効性を高めるために、高品質な初期解を生成する、簡単だが効果的なアルゴリズムを開発すること。
• 優れた初期解が、特に困難なベンチマークインスタンスにおいて、洗練されたメタヒューティックスを上回る可能性があるかどうかを検証すること。
• 初期化の質が、k-means型アルゴリズムにおける最終解の品質に与える影響を調査すること。
• 複雑な探索メカニズムに頼るのではなく、知的な初期化に焦点を当てることで、洗練されたメタヒューティックスの代替として実用的でスケーラブルな代替手段を提供すること。

提案手法

• 二乗和クラスタリング問題のための高品質な初期クラスタ中心を生成することを目的とした、構築、分離、統合の3つの新規アルゴリズムを提案する。
• 標準的な改善アルゴリズム（例：Lloyd、MacQueen、Hartigan-Wong）を、生成された各初期解から適用する、マルチスタート局所探索戦略を用いる。
• 異なる摂動と多様化のレベルを探索するために、α値を1.1、1.5、2.0として変化させた統合手順を適用する。
• 10個の広く使われているデータセットにまたがる72のベンチマークインスタンスをテストし、容易に解ける小規模問題と、挑戦的な中〜大規模問題を含む。
• ランダムまたはk-means++による初期化を用いた標準的なR実装のk-means変種、および最近の文献における最先端のメタヒューティックスと結果を比較する。
• 統合手順の堅牢性と改善の可能性を評価するために、1インスタンスあたり1,000回の実行を実施する。

実験結果

リサーチクエスチョン

• RQ1 高品質な初期解の使用が、最小二乗二乗クラスタリング問題における局所探索アルゴリズムの性能を顕著に向上させることができるか？
• RQ2 標準的な局所探索と組み合わせた、単純で決定的な初期化手法が、複雑なメタヒューティックスを上回る可能性があるか？
• RQ3 適応的な初期解が、最適または近似的最適な解に到達するまでのマルチスタート反復回数をどの程度削減できるか？
• RQ4 初期化手法の選択が、中〜大規模クラスタリングインスタンスにおける最終解の品質にどのように影響するか？
• RQ5 『シンプルであるに越したことはない』というアプローチ——優れた初期点からの単純な局所探索——が、洗練されたハイブリッドメタヒューティックスを模倣または上回る可能性があるか？

主な発見

• 48の比較的容易なインスタンスについて、Rの標準実装を含むすべてのテストされたアルゴリズムが最良既知解を正しく特定した。これは、提案手法が単純な問題においても有効であることを確認している。
• 24の挑戦的な中〜大規模インスタンスのうち、提案アルゴリズムを用いて5つの新しい最良既知解が発見された。これは、既存の結果を改善できる能力を示している。
• 残りの19の困難なインスタンスのうち18つで、提案アルゴリズムが最良既知解に一致した。これは、高い堅牢性と信頼性を示している。
• α=2.0で実行した統合手順を10,000回繰り返した結果、tsplib1060データセット（k=25）で6.06607E+08の解が得られ、以前に報告された最良既知解6.06700E+08よりも0.015%優れていた。
• Rベースの実装による最良結果は、24の困難なインスタンスのうち9つで最良既知解に到達できず、提案された初期解手法の優位性を浮き彫りにした。
• 本研究は、局所探索の成功において初期解の質が決定的要因であることを確認しており、使用されるメタヒューティックスの複雑さを上回ることが多い。