[논문 리뷰] Faster Fundamental Graph Algorithms via Learned Predictions

Justin Y. Chen, Sandeep Silwal외 2명|arXiv (Cornell University)|2022. 04. 26.

Machine Learning and Algorithms인용 수 4

한 줄 요약

이 논문은 예측된 이중 변수를 사용하여 기초적인 그래프 문제에 대한 학습 증강 알고리즘을 제안하며, 기계 학습된 힌트를 활용하여 더 빠른 런타임을 달성한다. 단일 소스 최단경로 문제에 대해 감소된 간선 이중 변수의 새로운 응용을 제안하고, 새로운 문제에 학습 증강 알고리즘을 확장하기 위한 일반적인 감소 프레임워크를 개발하였으며, PAC 학습 이론을 통해 예측의 학습 가능성에 대한 보장이 가능하다.

ABSTRACT

We consider the question of speeding up classic graph algorithms with machine-learned predictions. In this model, algorithms are furnished with extra advice learned from past or similar instances. Given the additional information, we aim to improve upon the traditional worst-case run-time guarantees. Our contributions are the following: (i) We give a faster algorithm for minimum-weight bipartite matching via learned duals, improving the recent result by Dinitz, Im, Lavastida, Moseley and Vassilvitskii (NeurIPS, 2021); (ii) We extend the learned dual approach to the single-source shortest path problem (with negative edge lengths), achieving an almost linear runtime given sufficiently accurate predictions which improves upon the classic fastest algorithm due to Goldberg (SIAM J. Comput., 1995); (iii) We provide a general reduction-based framework for learning-based graph algorithms, leading to new algorithms for degree-constrained subgraph and minimum-cost $0$-$1$ flow, based on reductions to bipartite matching and the shortest path problem. Finally, we give a set of general learnability theorems, showing that the predictions required by our algorithms can be efficiently learned in a PAC fashion.

연구 동기 및 목표

• 기존 또는 유사한 인스턴스로부터의 이중 변수 예측을 통해 고전적인 그래프 알고리즘의 실행 속도를 향상시키기.
• 학습 증강 알고리즘이 이분 매칭을 넘어서서 재설계 없이 일반화될 수 있는지 검토하기.
• 새로운 그래프 문제에 학습 증강 알고리즘을 이식할 수 있도록 일반적인 감소 기반 프레임워크 개발하기.
• PAC 학습 이론을 활용해 필요한 예측의 이론적 기초를 확립하기.

제안 방법

• 음수 간선 가중치를 가진 최단경로 문제에 대해 감소된 간선 이중 변수를 새로운 유형의 예측으로 도입하여 더 빠른 수렴을 가능하게 한다.
• 예측된 감소된 간선 이중 변수를 최단경로 문제의 타당한 이중 해로 변환하기 위한 라운딩 기법을 제안한다.
• 새로운 그래프 문제(예: 차수 제약 서브그래프, 유닛 용적량 최소비용 0-1 유량)를 기존 문제(이분 매칭, 최단경로)로 감소시키며 학습된 예측을 통합하는 일반적인 감소 프레임워크를 개발한다.
• 예측 오차에 대한 경험적 리스크 최소화를 ℓ₁ 및 ℓ∞ 노름에서 수행하여 이중 예측을 효율적으로 학습한다.
• PAC 학습 이론을 적용하여 예측 함수의 표본 복잡도와 일반화 오차를 제한한다.
• VC 차원 및 의사차원을 통한 계산 복잡도 한계를 활용하여 산술 연산 기반 예측 함수의 학습 가능성에 대한 근거를 확립한다.

실험 결과

연구 질문

• RQ1 이분 매칭을 넘어서 단일 소스 최단경로 문제(음수 간선 가중치 포함)에 대해 학습 증강 알고리즘을 설계할 수 있는가?
• RQ2 감소를 통해 기존 알고리즘을 재사용함으로써 각 그래프 문제마다 새로운 학습 증강 알고리즘을 설계하지 않아도 되는가?
• RQ3 필요한 예측(예: 이중 변수)이 PAC 의미에서 효율적으로 학습 가능한 조건은 무엇인가?
• RQ4 다른 예측 노름(ℓ₁, ℓ∞)이 학습 증강 그래프 알고리즘의 런타임과 학습 가능성에 어떤 영향을 미치는가?
• RQ5 예측 함수의 계산 복잡도를 활용해 일반적인 학습 가능성 경계를 유도할 수 있는가?

주요 결과

• 최소비용 이분 매칭에 대해 O(m√n + (m+n log n) ||y* - ŷ||₀)의 향상된 런타임을 달성하였으며, 이는 이전의 Õ(min{m√n ||y* - ŷ'||₁, mn})의 경계보다 크게 향상되었다.
• 음수 간선 가중치가 있는 단일 소스 최단경로 문제에 대해, 예측이 정확할 경우 알고리즘은 O(m min{||ŷ - y*||₁ · ||ŷ - y*||∞, √n log ||ŷ - y*||∞})의 시간 복잡도로 실행된다.
• 감소 프레임워크를 통해 이분 매칭과 최단경로로 감소시킴으로써 차수 제약 서브그래프 및 유닛 용적량 최소비용 0-1 유량 문제에 대한 새로운 학습 증강 알고리즘을 개발하였다.
• 예측 함수가 T(m,d) 시간 내에 계산 가능할 경우, 예측은 O(poly(T(m,d)))의 표본 복잡도로 PAC 의미에서 학습 가능하다는 것을 증명하였다.
• ℓ₁ 및 ℓ∞ 예측 손실에 대해 의사차원과 VC 차원을 사용하여 표본 복잡도를 제한하였으며, 후자는 예측 함수의 계산 복잡도와 연관되어 있다.
• 프레임워크는 간선 특징과 선형 함수 기반 예측이 표준 가정 하에 효율적으로 학습 가능하다고 보장하며, 계산 복잡도 기반으로 일반화 오차 경계를 도출하였다.