[논문 리뷰] The Importance of Good Starting Solutions in the Minimum Sum of Squares Clustering Problem

Paweł Kalczyński, Jack Brimberg외 1명|arXiv (Cornell University)|2020. 04. 06.

Facility Location and Emergency Management참고 문헌 29인용 수 5

한 줄 요약

이 논문은 최소 제곱합 클러스터링 문제에 대한 고품질의 초기 해를 생성하기 위한 세 가지 새로운 알고리즘을 제안하며, k-means와 같은 국소 탐색 휴리스틱의 성능을 크게 향상시킨다. 이들 맞춤형 초기 해를 사용함으로써 저자들은 다섯 개의 새로운 최고 기록 해를 달성했고, 19개의 중대형 난이도 높은 인스턴스 중 18개에 대해 최고 기록 결과를 달성하였다. 이는 단순한 국소 탐색과 결합되었을 때 뛰어난 초기 해가 복잡한 메타휴리스틱을 능가할 수 있음을 보여준다.

ABSTRACT

The clustering problem has many applications in Machine Learning, Operations Research, and Statistics. We propose three algorithms to create starting solutions for improvement algorithms for this problem. We test the algorithms on 72 instances that were investigated in the literature. Forty eight of them are relatively easy to solve and we found the best known solution many times for all of them. Twenty four medium and large size instances are more challenging. We found five new best known solutions and matched the best known solution for 18 of the remaining 19 instances.

연구 동기 및 목표

• 최소 제곱합 클러스터링 문제에 대한 국소 탐색 알고리즘의 열악한 수렴 문제를 해결하기 위해, 이는 종종 부적절한 초기 클러스터 중심에서 기인한다.
• 표준 개선 휴리스틱의 효과를 높이기 위해 고품질의 초기 해를 생성하는 단순하면서도 효과적인 알고리즘을 개발한다.
• 좋은 초기 해가 복잡한 메타휴리스틱을 능가할 수 있는지, 특히 어려운 벤치마크 인스턴스에서 그러한 성능을 보일 수 있는지 테스트한다.
• 초기화 품질이 k-means 유형 알고리즘의 최종 해 품질에 미치는 영향을 조사한다.
• 복잡한 탐색 메커니즘 대신 지능적인 초기화에 초점을 맞춤으로써, 복잡한 메타휴리스틱의 실용적이고 확장 가능한 대안을 제공한다.

제안 방법

• 제곱합 클러스터링 문제에 특화된 세 가지 새로운 알고리즘—구성, 분리, 융합—을 제안하여 고품질의 초기 클러스터 중심을 생성한다.
• 표준 개선 알고리즘(예: Lloyd, MacQueen, Hartigan-Wong)을 각각 생성된 초기 해에서 시작하는 다중 시작 국소 탐색 전략을 사용한다.
• 다양한 α 값(1.1, 1.5, 2.0)을 사용하여 융합 절차를 적용함으로써 초기 해의 변동성과 다양성을 탐색한다.
• 10개의 널리 사용되는 데이터 세트에서 72개의 벤치마크 인스턴스를 대상으로 실험하며, 소형(쉽게 해결 가능한) 및 중대형(어려운) 문제를 모두 포함한다.
• 랜덤 또는 k-means++ 초기화를 사용한 표준 R 구현체의 k-means 변종과 최근 문헌에서 제시된 최첨단 메타휴리스틱과 결과를 비교한다.
• 융합 절차의 정확도와 향상 잠재력을 평가하기 위해 각 인스턴스당 1,000회 실행한다.

실험 결과

연구 질문

• RQ1 고품질의 초기 해를 사용할 경우, 최소 제곱합 클러스터링 문제에서 국소 탐색 알고리즘의 성능이 크게 향상되는가?
• RQ2 표준 국소 탐색과 결합했을 때, 단순하고 결정적인 초기화 방법이 복잡한 메타휴리스틱을 능가하는가?
• RQ3 맞춤형 초기 해가 최적 또는 근사 최적 해에 도달하기 위해 필요한 다중 시작 반복 수를 어느 정도 줄일 수 있는가?
• RQ4 중대형 클러스터링 인스턴스에서 초기화 방법의 선택이 최종 해 품질에 어떤 영향을 미치는가?
• RQ5 간단한 국소 탐색을 우수한 초기 해에서 시작하는 '적은 것이 많다'의 접근 방식이, 복잡한 하이브리드 메타휴리스틱의 성능을 따라하거나 능가할 수 있는가?

주요 결과

• 48개의 비교적 쉬운 인스턴스에 대해, 테스트된 모든 알고리즘(표준 R 구현체 포함)이 최고 기록 해를 성공적으로 찾았으며, 이는 간단한 문제들에 대한 제안된 방법의 효과를 확인한다.
• 24개의 중대형 난이도 높은 인스턴스 중 다섯 개의 새로운 최고 기록 해가 제안된 알고리즘을 통해 발견되었으며, 이는 기존 결과를 향상시킬 수 있음을 보여준다.
• 남은 19개의 어려운 인스턴스 중 18개에 대해 제안된 알고리즘이 최고 기록 해를 달성하였으며, 이는 강력한 내구성과 신뢰성을 시사한다.
• α=2.0로 설정한 융합 절차를 10,000회 실행한 결과, tsplib1060 데이터셋(k=25)에서 6.06607E+08의 해를 도출하였으며, 이는 이전에 보고된 최고 기록 해 6.06700E+08보다 0.015% 우수하다.
• R 기반 구현체에서 도출된 최고 성능 결과는 24개의 어려운 인스턴스 중 9개에서 최고 기록 해를 달성하지 못했으며, 이는 제안된 초기 해 방법의 우수성을 강조한다.
• 본 연구는 초기 해의 품질이 국소 탐색의 성공에 결정적인 영향을 미치며, 사용된 메타휴리스틱의 복잡성보다도 더 큰 영향을 미칠 수 있음을 확인한다.