[논문 리뷰] A Projection Method for Metric-Constrained Optimization

Nate Veldt, David F. Gleich외 2명|arXiv (Cornell University)|2018. 06. 05.

Advanced Multi-Objective Optimization Algorithms참고 문헌 39인용 수 5

한 줄 요약

이 논문은 $O(n^2)$ 변수와 $O(n^3)$ 삼각부등식 제약 조건을 가진 대규모 선형 및 이차 프로그램을 효율적으로 처리할 수 있도록 일반화되고 개선된 디크스트라의 투영 알고리즘을 활용한 새로운 투영 기반 해법을 제안한다. 이 방법은 최대 $10^8$개의 변수와 $7 \times 10^{11}$개의 제약 조건을 가진 NP-난이도 클러스터링 완화 문제에 대해 높은 정확도의 해를 도출하며, 메모리 사용량과 확장성 면에서 이전의 블랙박스 해법보다 뛰어나다.

ABSTRACT

We outline a new approach for solving optimization problems which enforce triangle inequalities on output variables. We refer to this as metric-constrained optimization, and give several examples where problems of this form arise in machine learning applications and theoretical approximation algorithms for graph clustering. Although these problem are interesting from a theoretical perspective, they are challenging to solve in practice due to the high memory requirement of black-box solvers. In order to address this challenge we first prove that the metric-constrained linear program relaxation of correlation clustering is equivalent to a special case of the metric nearness problem. We then developed a general solver for metric-constrained linear and quadratic programs by generalizing and improving a simple projection algorithm originally developed for metric nearness. We give several novel approximation guarantees for using our framework to find lower bounds for optimal solutions to several challenging graph clustering problems. We also demonstrate the power of our framework by solving optimizing problems involving up to 10^{8} variables and 10^{11} constraints.

연구 동기 및 목표

• 기계학습과 그래프 클러스터링에서 발생하는 대규모 메트릭 제약 조건이 있는 최적화 문제를 해결하는 데 실용적인 과제를 해결하기 위해, $O(n^2)$개의 변수와 $O(n^3)$개의 삼각부등식 제약 조건으로 인해 계산적으로 비현실적인 문제들을 다루기 위함이다.
• 블랙박스 해법의 메모리 병목 현상 문제를 피하기 위해 확장성 있고 메모리 효율적인 메트릭 제약 조건이 있는 선형 및 이차 프로그램을 위한 해법을 개발하기 위함이다.
• 이중 기반 정지 기준과 라운딩 절차를 통해 제약 조건 이행과 해 품질에 대해 강력한 이론적 보장을 제공하기 위함이다.
• NP-난이도 클러스터링 문제의 대규모 사례, 특히 상관관계 클러스터링과 희소성 최소화 문제의 완화에 대해 이 프레임워크의 효과성을 입증하기 위함이다.
• 메트릭 근접성, 준감독형 클러스터링, 공동 영상 세분화 클러스터링 등의 다양한 응용 분야에 적용 가능한 일반 목적의 프레임워크를 수립하기 위함이다.

제안 방법

• 디크스트라의 투영 알고리즘을 일반화하고 개선하여 메트릭 제약 조건이 있는 최적화 문제를 해결하는 데 적용하며, 이는 $\beta$-메트릭 근접 문제를 넘어서 일반적인 선형 및 이차 프로그램에까지 적용 가능하도록 확장한다.
• 이중 목표를 모니터링하고 수렴 근처에서 라운딩 단계를 트리거하는 이중 기반 정지 기준을 도입함으로써 제약 조건 이행과 해 품질을 향상시킨다.
• 메트릭 제약 조건이 있는 선형 프로그램과 더 쉽게 해결할 수 있는 관련 이차 프로그램 사이의 격차를 메우기 위해 핵심 파라미터 $\gamma$를 활용하며, $\gamma$를 설정하기 위한 새로운 전략을 제안한다.
• 삼각부등식을 강제하기 위해 반복적인 삼각형 수정 업데이트를 적용하며, 이중 변수의 희소성을 유지하여 메모리 사용량을 줄이는 데 중점을 둔다.
• 지연 제약 생성 방식이 아닌, 사전에 전체 제약 조건 집합을 사용함으로써, 희소성 최소화 문제와 같은 문제에서 많은 제약 조건이 강한 조건임을 경험적으로 관찰한 데 기반한다.
• 수렴 후 정교한 라운딩 전략을 적용하여 클러스터링 목표 함수에 대해 강력한 근사 보장을 가진 타당한 해를 생성한다.

실험 결과

연구 질문

• RQ1 메트릭 근접 문제를 초월하여 넓은 범위의 메트릭 제약 조건이 있는 선형 및 이차 프로그램을 해결할 수 있도록 투영 기반 방법을 일반화할 수 있는가?
• RQ2 대규모 메트릭 제약 조건이 있는 최적화 문제에서 강력한 제약 조건 이행과 해 품질을 확보하기 위해 이중 기반 정지 기준을 어떻게 설계할 수 있는가?
• RQ3 삼각부등식 제약 조건의 구조가 유사한데도 불구하고, 희소성 최소화 문제의 완화가 상관관계 클러스터링보다 더 메모리 집약적인 이유는 무엇인가?
• RQ4 메트릭 제약 조건이 있는 이차 프로그램에서 해 품질과 계산의 실현 가능성 사이의 트레이드오프를 균형 잡는 데 파라미터 $\gamma$가 수행하는 역할은 무엇인가?
• RQ5 기존의 해법이 메모리 한계로 인해 실패하는 상황에서, 투영 방법이 $10^8$개의 변수와 $10^{11}$개의 제약 조건을 가진 문제에까지 확장 가능한가?

주요 결과

• 상관관계 클러스터링의 메트릭 제약 조건이 있는 선형 프로그램 완화는 $\ell_1$ 메트릭 근접 문제의 특수한 경우와 수학적으로 동치이며, 이는 알고리즘 개발의 공유를 가능하게 한다.
• 제안된 해법은 수천 개의 노드를 가진 그래프에서 희소성 최소화 문제의 레이튼-라오 완화를 성공적으로 해결하였으며, 이전 방법들이 메모리 한계로 실패했던 곳에서도 수렴을 달성하였다.
• 이 프레임워크는 실제 네트워크에서 11,204개의 노드를 가진 상관관계 클러스터링 선형 프로그램 완화 문제를 해결하였으며, 이는 이전에 보고된 결과보다 10배 이상 큰 크기이다. 이 경우 $10^8$개의 변수와 $7 \times 10^{11}$개의 제약 조건을 사용하였다.
• 가장 큰 인스턴스(caHepPh, 11,204개의 노드)에 대해 해법 시간은 167.5시간으로 측정되었으며, 최종 목표 함수 값은 1.27이었으며, 이는 극도로 큰 문제 크기에서도 확장 가능함을 보여준다.
• 전통적인 블랙박스 해법과 지연 제약 접근 방식보다도, 특히 희소성 최소화 문제처럼 많은 강한 제약 조건을 가진 문제에서는 전체 제약 조건 집합 전략 덕분에 더 뛰어난 성능을 보였다.
• 경험적 분석 결과, 희소성 최소화 문제의 완화는 상관관계 클러스터링보다 더 두꺼운 이중 벡터를 생성함을 확인하였으며, 이는 더 높은 메모리 사용량을 설명하며, 이로 인해 지연 제약 방법이 이러한 문제에서 실패하는 이유를 설명한다.