[논문 리뷰] Distributing an Exact Algorithm for Maximum Clique: maximising the costup

Ciaran McCreesh, Patrick Prosser|ENLIGHTEN (Jurnal Bimbingan dan Konseling Islam)|2012. 09. 20.

Cryptography and Data Security참고 문헌 26인용 수 48

한 줄 요약

이 논문은 최대 클리크 문제를 위한 MC 정확 알고리즘의 경량이며 분산된 확장 기법을 제시한다. 네트워크로 연결된 기계 클러스터에서 최소한의 코드 변경으로도 효율적인 병렬 실행을 가능하게 한다. 검색 공간을 상호 독립적인 부분 문제로 분해하고 SSH 및 NFS를 활용함으로써, 50台의 기계에서 최대 42.3배의 성능 향상을 달성하였으며, 낮은 개발 부담으로도 높은 성능 향상을 입증하였다.

ABSTRACT

We take an existing implementation of an algorithm for the maximum clique problem and modify it so that we can distribute it over an ad-hoc cluster of machines. Our goal was to achieve a significant speedup in performance with minimal development effort, i.e. a maximum costup. We present a simple modification to a state-of-the-art exact algorithm for maximum clique that allows us to distribute it across many machines. An empirical study over large hard benchmarks shows that speedups of an order of magnitude are routine for 25 or more machines.

연구 동기 및 목표

• 기존의 정확한 최대 클리크 알고리즘을 사용 가능한 자원이 부족한 비할당된 기계 클러스터에 분산 적용함으로써, 비용 증가보다 성능 향상이 뚜렷한 높은 성능 향상(성능 향상 > 비용 증가)을 달성하고자 한다.
• 기본 알고리즘의 핵심 논리를 수정하지 않고도 성능 향상을 극대화하면서 개발 부담을 최소화하고자 하며, SSH, NFS, 자바만을 사용한다.
• 특히 네트워크 I/O 및 기계의 불안정성과 같은 실제 환경 제약 조건 하에서, 딱딱한 최대 클리크 벤치마크에 대해 거시적 작업 분배의 효과를 평가하고자 한다.
• 임시 클러스터 환경에서의 분포의 세분성, 장애 복구 능력, 성능 저하 요인 간의 실용적 트레이드오프를 탐색하고자 한다.

제안 방법

• 알고리즘 MC는 검색 공간을 상호 독립적인 부분 문제로 분할하여, 각 문제를 SSH를 통해 별도의 기계에 할당하고, 결과는 공유된 NFS 마운트 디렉터리를 통해 집계한다.
• 각 워커 프로세스는 초기 후보 집합에서 파생된 고유한 부분 문제에서 원래의 MC 알고리즘을 실행하며, 색상 기반 상한선을 사용해 탐색 트리를 잘라낸다.
• 경쟁을 줄이기 위해 작업을 무작위 순서로 분배하며, 각 작업의 시작 시 현재까지 발견된 최고의 클리크를 읽고, 끝날 무렵에 다시 쓰므로 전역적인 진전 정보를 전파할 수 있다.
• 장애 복구는 NFS 지속성 기반으로 달성되며, 공유 결과 디렉터리에서 누락된 결과를 식별함으로써 실패한 작업을 재실행할 수 있다.
• 시스템은 이중 계층 분해를 사용한다: 첫 번째 계층은 초기 정점 선택에 따라 검색 공간을 분할하고, 두 번째 계층은 잔여 부분 문제를 추가로 분할하여 부하 균형을 맞춘다.
• 성능는 최고의 클리크를 찾는 공유 파일을 통해 모니터링되며, 장기적인 꼬리 지연을 줄이기 위해 주기적인 업데이트가 이루어지지만, NFS 잠금 기능으로 인해 업데이트 빈도가 제한된다.

실험 결과

연구 질문

• RQ1 기존의 정확한 최대 클리크 알고리즘에 최소한의 수정을 가하여, 이질적이고 전용이 아닌 기계로 구성된 네트워크에서 상당한 성능 향상을 달성할 수 있는가?
• RQ2 공유 스토리지와 SSH 기반 작업 분배를 사용하는 클러스터 환경에서, 분산 I/O 및 네트워크 통신의 오버헤드가 확장성에 얼마나 큰 영향을 미치는가?
• RQ3 작업 분해의 세분성 선택이 부하 균형과 전체 성능에 미치는 영향은 어떠한가? 특히 장기적인 꼬리 지연이 발생하는 부분 문제의 존재 상황에서 어떻게 되는가?
• RQ4 기계 장애 및 제한된 공유 자원과 같은 실제 제약 조건 하에서, 시스템이 의미 있는 성능 향상(성능 향상 > 비용 증가)을 달성할 수 있는가?

주요 결과

• 50台의 기계를 사용하여 frb35-17-3 인스턴스에서 최대 42.3배의 성능 향상을 달성하였으며, 총 실행 시간은 11시간으로, 단일 기계에서 13일 이상이 소요된 것과 대비된다.
• frb35-17-1 인스턴스의 경우, 분산 시스템은 7시간 이내에 문제를 해결하였고, 단일 기계에서는 일주일이 넘게 소요되어 뚜렷한 성능 향상을 입증하였다.
• 하드 벤치마크에서 25대 이상의 기계를 사용할 경우, 일반적으로 10배 이상의 성능 향상이 이루어졌으며, 이는 이 방법의 확장성을 확인하는 데 기여한다.
• 상당한 I/O 및 네트워크 오버헤드가 존재하더라도, NFS 지속성 덕분에 기계 장애에 강건했으며, 실패한 작업은 최소한의 영향으로 재실행할 수 있었다.
• 일부 경우에 장기적인 꼬리 지연 문제가 지속되었으며, 특히 몇몇 부분 문제가 실행 시간을 지배하는 경우가 많아 더 세밀한 분포 또는 워크스틸링 기법이 추가로 필요함을 시사한다.
• 저자들은 이 방법이 강력한 성능 향상(성능 향상 > 비용 증가)을 달성하였다고 결론 내리며, 짧은 기간 동안 많은 비할당된 기계를 사용한 비용에 비해 성능 향상이 극명히 뛰어났다고 평가한다.