[논문 리뷰] Heuristic algorithms for the bipartite unconstrained 0-1 quadratic programming problem

Daniel Karapetyan, Abraham P. Punnen|arXiv (Cornell University)|2012. 10. 13.

Optimization and Packing Problems참고 문헌 12인용 수 13

한 줄 요약

이 논문은 이분할 Unconstrained 0-1 이차계획문제(BQP)의 고유한 구조를 활용하여, 구성 휴리스틱, 국소 탐색, 이웃 탐색 기법을 적용한 특화된 휴리스틱 알고리즘을 제안한다. 연구 결과, QP 기반 재구성 방법에 비해 BQP에 특화된 휴리스틱이 특히 비정사각형 인스턴스에서 뛰어난 성능을 보이며, 구조적 인스턴스에서는 Row-Merge 휴리스틱, 무작위 인스턴스에서는 Multi-Start 휴리스틱이 뛰어난 성능을 나타낸다.

ABSTRACT

We study the Bipartite Unconstrained 0-1 Quadratic Programming Problem (BQP) which is a relaxation of the Unconstrained 0-1 Quadratic Programming Problem (QP). Applications of the BQP include mining discrete patterns from binary data, approximating matrices by rank-one binary matrices, computing cut-norm of a matrix, and solving optimization problems such as maximum weight biclique, bipartite maximum weight cut, maximum weight induced subgraph of a bipartite graph, etc. We propose several classes of heuristic approaches to solve the BQP and discuss a number of construction algorithms, local search algorithms and their combinations. Results of extensive computational experiments are reported to establish the practical performance of our algorithms. For this purpose, we propose several sets of test instances based on various applications of the BQP. Our algorithms are compared with state-of-the-art heuristics for QP which can also be used to solve BQP with reformulation. We also study theoretical properties of the neighborhoods and algorithms. In particular, we establish complexity of all neighborhood search algorithms and establish tight worst-case performance ratio for the greedy algorithm.

연구 동기 및 목표

• 이분할 Unconstrained 0-1 이차계획문제(BQP)에 특화된 효율적인 휴리스틱 알고리즘을 개발하기 위해, 이 문제는 NP-완전이며 행렬 근사 및 패턴 마이닝 등의 응용에서 나타난다.
• BQP를 더 큰 QP 문제로 재구성하는 데서 비효율성을 해결하기 위해, 이는 구조적 이점을 상실하고 계산 오버헤드를 증가시킨다.
• 다양한 BQP 인스턴스 유형에 대해 구성, 국소 탐색, 메타휴리스틱 전략 등의 다양한 휴리스틱 전략의 성능을 평가한다.
• 그리디 휴리스틱과 같은 주요 알고리즘에 대해 이웃 복잡도와 최악의 성능 비율과 같은 이론적 성질을 수립한다.
• BQP 인스턴스의 포괄적인 테스트베드를 제공하고, 최신 QP 솔버와의 성능 비교를 수행한다.

제안 방법

• BQP에 대한 초기 탇성 해를 생성하기 위해, 그리디 선택 및 행 병합 전략을 포함한 다수의 구성 휴리스틱을 제안한다.
• 변수 한 개를 한 번에 변경하는 플립 이웃 및 변수 이웃 강하(Variable Neighborhood Descent, VND)를 통한 국소 탐색을 활용하여 해를 반복적으로 개선한다.
• 구조적 인스턴스에서 해 품질을 향상시키기 위해 군집 기반의 Row-Merge 휴리스틱을 도입한다.
• 다양화 전략을 적용한 Multi-Start 휴리스틱을 사용하여 해 공간의 다양한 영역을 탐색하며, 특히 무작위 인스턴스에서 효과적이다.
• 기존 QP 솔버를 사용하여 BQP를 표준 QP로 재구성하는 QP 기반 접근법과 BQP에 특화된 휴리스틱을 비교한다.
• 이웃 구조의 복잡도를 분석하고, 그리디 알고리즘에 대해 날카운 최악의 성능 비율 1/2을 유도한다.

실험 결과

연구 질문

• RQ1 다양한 인스턴스 유형에서 BQP에 특화된 휴리스틱과 QP 기반 재구성 방법 간의 해 품질과 실행 시간을 비교할 경우, 어떤 차이가 있는가?
• RQ2 그리디, Multi-Start, Row-Merge, 또는 VND 중 어떤 휴리스틱 전략이 구조적, 무작위, 또는 행렬 인수분해 인스턴스에서 가장 뛰어난 성능을 내는가?
• RQ3 BQP에 대한 그리디 구성 휴리스틱의 이론적 최악의 성능 비율은 무엇인가?
• RQ4 이웃 탐색 알고리즘(예: 플립, 스왑)의 복잡도는 문제 크기와 어떻게 상관관계가 있는가?
• RQ5 QP 기반 재구성 접근법이 언제 경쟁력을 유지하며, 언제 수치적 또는 구조적 문제로 인해 실패하는가?

주요 결과

• 작은 클러스터를 사용한 Row-Merge 휴리스틱은 구조적 BQP 인스턴스에서 단순한 Multi-Start 휴리스틱보다 뚜렷이 뛰어난 성능을 보이며, 실세계 응용에서의 가치를 입증한다.
• Multi-Start 휴리스틱은 무작위 인스턴스에서 뛰어난 결과를 달성하여, 평탄하고 비구조적인 해 공간에서의 효과성을 입증한다.
• QP 기반 재구성 접근법은 '정사각형' 또는 근접한 정사각형 인스턴스(m ≈ n)에서만 잘 작동하지만, 큰 음수 가중치로 인해 Max Biclique 인스턴스에서는 실패하거나 오버플로우가 발생한다.
• 그리디 구성 휴리스틱은 최악의 성능 비율이 1/2로 날카로운 이론적 경계를 확립하며, 이는 그 근사 품질에 대한 이론적 기준을 제공한다.
• 큰 n ≫ m 인 경우 정확한 탐색이 MIP보다 효율적이며, 정사각형 인스턴스에서는 MIP가 우세함을 보여주며, 이는 인스턴스 특성의 중요성을 강조한다.
• QP 기반 솔버는 초기화에 상당한 시간이 소요되며, 연장된 실행 시간이 주어지지 않는 한 BQP에 특화된 휴리스틱보다 성능이 劣화됨을 보여주며, 이는 설정 비용과 해 품질 간의 상충 관계를 시사한다.