[논문 리뷰] Faster Matchings via Learned Duals

Michael Dinitz, Sungjin Im외 3명|arXiv (Cornell University)|2021. 07. 20.

Optimization and Search Problems참고 문헌 47인용 수 5

한 줄 요약

이 논문은 기계학습된 이중 변수를 온난 스타트로 사용하여 가중 이분 매칭 및 b-매칭 알고리즘의 속도를 향상시키는 새로운 방법을 제안한다. 이중 공간 예측과 효율적인 투영을 통해 타당성, 최적성, 학습 가능성 문제를 해결함으로써, 낮은 샘플 복잡도로 증명 가능한 빠른 실행 시간을 달성하며, 실제 및 시뮬레이션 데이터를 통한 실험으로 검증되었다.

ABSTRACT

A recent line of research investigates how algorithms can be augmented with machine-learned predictions to overcome worst case lower bounds. This area has revealed interesting algorithmic insights into problems, with particular success in the design of competitive online algorithms. However, the question of improving algorithm running times with predictions has largely been unexplored. We take a first step in this direction by combining the idea of machine-learned predictions with the idea of "warm-starting" primal-dual algorithms. We consider one of the most important primitives in combinatorial optimization: weighted bipartite matching and its generalization to $b$-matching. We identify three key challenges when using learned dual variables in a primal-dual algorithm. First, predicted duals may be infeasible, so we give an algorithm that efficiently maps predicted infeasible duals to nearby feasible solutions. Second, once the duals are feasible, they may not be optimal, so we show that they can be used to quickly find an optimal solution. Finally, such predictions are useful only if they can be learned, so we show that the problem of learning duals for matching has low sample complexity. We validate our theoretical findings through experiments on both real and synthetic data. As a result we give a rigorous, practical, and empirically effective method to compute bipartite matchings.

연구 동기 및 목표

• 온라인 설정에서의 경쟁 비율을 넘어서 기계학습된 예측을 사용하여 알고리즘의 실행 시간을 향상시키는 데 있어 발생하는 격차를 메우기 위해.
• 세 핵심 과제를 체계화하고 해결하기 위해: 예측된 이중 변수의 타당성, 근사 최적의 이중 변수에서의 최적화, 이중 예측의 학습 가능성.
• 가중 이분 매칭 및 b-매칭 문제에서의 원시-이중 알고리즘에 대해 이론적으로 탄탄하고 실용적인 온난 스타트 프레임워크를 제공하기 위해.
• 예측된 이중 변수가 낮은 샘플 복잡도로 효율적으로 학습될 수 있으며, 성능 보장을 유지할 수 있음을 보여주기 위해.

제안 방법

• 기계학습된 이중 변수를 원시-이중 알고리즘의 온난 스타트로 사용하며, 효율적인 알고리즘을 통해 타당하지 않은 예측을 타당한 이중 해로 투영한다.
• 매칭 문제의 이중 형식을 활용하여 예측된 이중 변수와 최적의 이중 변수 간의 ℓ₁-거리 기반 손실 함수를 정의한다.
• 가짜 차원 분석을 통해 샘플 복잡도 한계를 적용하여, 이중 예측이 적은 학습 인스턴스로부터 학습될 수 있음을 보여준다.
• 노름 유지 변환을 적용하여 b-매칭의 이중 공간을 표준 매칭의 이중 공간과 연결함으로써 이론적 보장을 일반화한다.
• 비용 인스턴스 분포 상에서 예측된 이중 변수와 진짜 최적의 이중 변수 간의 기대 ℓ₁-거리가 최소화되도록 하는 학습 절차를 설계한다.
• 학습된 이중 변수를 원시-이중 알고리즘에 통합하여, 고품질의 초기 이중 해에서 시작함으로써 수렴 속도를 높인다.

실험 결과

연구 질문

• RQ1 기계학습된 이중 변수를 사용하여 가중 이분 매칭에 대한 원시-이중 알고리즘의 속도를 높일 수 있는가?
• RQ2 최적성 보장을 잃지 않으면서 타당하지 않은 예측된 이중 변수를 효율적으로 타당한 것으로 변환할 수 있는가?
• RQ3 매칭 문제에 대해 유용한 이중 예측을 학습하기 위해 필요한 샘플 복잡도는 얼마인가?
• RQ4 학습된 이중 변수의 품질을 실행 시간 향상과 정량적으로 연결할 수 있는가?
• RQ5 이중 공간 접근 방식은 표준 온난 스타트 히우리스틱보다 더 나은 일반화 성능과 더 빠른 수렴을 가능하게 하는가?

주요 결과

• 예측 품질이 향상될수록 기계학습된 이중 변수를 온난 스타트로 사용함으로써 가중 이분 매칭에 대한 실행 시간이 빨라지는 것으로 나타났다.
• 타당하지 않은 예측된 이중 변수를 근처의 타당한 이중 해로 매핑하는 효율적인 알고리즘이 존재하며, 이는 최적의 이중 변수와의 근접성을 유지한다.
• 이중 예측 학습의 샘플 복잡도는 O((nCB/ε)²(n log n + log(1/ρ)))로 제한되며, 이는 적은 학습 인스턴스로부터의 일반화를 보장한다.
• 이중 예측 함수 클래스의 가짜 차원은 O(n log n)이며, 이는 낮은 샘플 복잡도로 PAC-학습 가능성을 보장한다.
• 실제 및 시뮬레이션 데이터를 통한 실험 결과, 이 방법은 이론적으로 탄탄할 뿐 아니라 실용적으로도 효과적이며 표준 방법보다 빠르게 작동함을 확인했다.
• 이중 공간 형식은 노름 변환 기법을 통해 표준 매칭에서 b-매칭으로 이론적 보장을 확장할 수 있도록 한다.