[논문 리뷰] Convergence to Lexicographically Optimal Base in a (Contra)Polymatroid and Applications to Densest Subgraph and Tree Packing

Elfarouk Harb, Kent Quanrud외 1명|arXiv (Cornell University)|2023. 01. 01.

Complexity and Algorithms in Graphs인용 수 3

한 줄 요약

이 논문은 밀도 높은 부분그래프에 대한 반복적 그레디 알고리즘과 트리 팩킹, 그리고 (대칭)다형체에서 사전순 최적 기저를 찾기 위한 이차계획법에 적용된 프랭크-울프 방법 사이의 새로운 연결 고리를 확립한다. Super-Greedy++에 대한 수렴 증명을 더 단순화하고, 이 알고리즘이 사전순 최적 기저로 수렴함을 보이며, 동시에 트리 팩킹에 대한 토르룹의 그레디 알고리즘을 볼록 최적화를 통해 통합적으로 분석함으로써 이전 연구보다 더 강한 덧셈 오차 보장을 제공한다.

ABSTRACT

Boob et al. [1] described an iterative peeling algorithm called Greedy++ for the Densest Subgraph Problem (DSG) and conjectured that it converges to an optimum solution. Chekuri, Quanrud, and Torres [2] extended the algorithm to general supermodular density problems (of which DSG is a special case) and proved that the resulting algorithm Super-Greedy++ (and hence also Greedy++) converges. In this paper, we revisit the convergence proof and provide a different perspective. This is done via a connection to Fujishige's quadratic program for finding a lexicographically optimal base in a (contra)polymatroid [3], and a noisy version of the Frank-Wolfe method from convex optimisation [4,5]. This gives us a simpler convergence proof, and also shows a stronger property that Super-Greedy++ converges to the optimal dense decomposition vector, answering a question raised in Harb et al. [6]. A second contribution of the paper is to understand Thorup's work on ideal tree packing and greedy tree packing [7,8] via the Frank-Wolfe algorithm applied to find a lexicographically optimum base in the graphic matroid. This yields a simpler and transparent proof. The two results appear disparate but are unified via Fujishige's result and convex optimisation.

연구 동기 및 목표

• 밀도 높은 부분그래프 문제에 대한 Super-Greedy++ 알고리즘에 대한 더 단순하고 투명한 수렴 증명을 제공하는 것.
• Super-Greedy++가 밀도 높은 부분그래프 문제와 관련된 다형체에서 사전순 최적 기저로 수렴함을 보이는 것.
• 스패닝 트리 다형체에 적용된 프랭크-울프 방법을 통해 토르룹의 그레디 트리 팩킹 알고리즘을 통합적으로 분석하는 것.
• 밀도 높은 부분그래프 및 트리 팩킹 알고리즘에 대해 더 강력한 수렴 보장을 확립하는 것—구체적으로 ℓ2 노름에서의 덧셈 오차 한계를 제공하는 것.

제안 방법

• Fujishige의 (대칭)다형체에서 사전순 최적 기저를 찾기 위한 이차계획법을 중심 이론적 도구로 활용한다.
• 반복적 그레디 알고리즘의 수렴을 분석하기 위해 프랭크-울프 알고리즘의 노이즈가 있는 변형을 이차계획법에 적용한다.
• Super-Greedy++ 알고리즘이 관련 다형체 위에서 프랭크-울프 스타일 업데이트를 수행함을 보여주기 위해, 밀도 높은 부분그래프 문제를 이분 탐색을 통한 하위모듈라 함수 최소화 문제로 재정의한다.
• 그레디 트리 팩킹 문제를 스패닝 트리 기저 다형체 위에서 프랭크-울프 방법으로 재구성하며, 각 반복에서 현재 가중치 벡터에 대해 최소 스패닝 트리를 계산한다.
• 다형체의 곡률을 이용해 ℓ2 노름에서의 수렴에 대한 반복 복잡도 한계를 유도한다.
• 동일한 그레디 알고리즘이 프랭크-울프 프레임워크에서 사용되는 다양한 볼록 목표 함수에 따라 다른 유형의 보장을 제공할 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 Super-Greedy++가 다형체에서 사전순 최적 기저로 수렴하는 것은 볼록 최적화 도구를 통해 증명될 수 있는가, 조합적 추론이 아닌가?
• RQ2 Fujishige의 이차계획법에 프랭크-울프 방법을 적용하면, 다형체 설정에서 그레디 알고리즘의 수렴에 대한 더 단순하고 일반적인 증명을 얻을 수 있는가?
• RQ3 토르룹의 그레디 트리 팩킹 알고리즘은 프랭크-울프 최적화의 관점에서 재해석되고 통합적으로 분석될 수 있는가?
• RQ4 다형체의 사전순 최적화에 프랭크-울프 방법을 적용했을 때, 어떤 유형의 수렴 보장(덧셈 오차 vs 상대 오차)을 제공하는가?
• RQ5 동일한 그레디 알고리즘(예: 트리 팩킹)에 대한 다양한 분석이 왜 다른 반복 복잡도 한계와 오차 유형을 도출하는가?

주요 결과

• Super-Greedy++는 밀도 높은 부분그래프 문제와 관련된 다형체에서 사전순 최적 기저로 수렴하며, Harb 등 [6]에서 제기한 열린 문제를 해결한다.
• 이 알고리즘은 m개 간선에 대해 O(m log(m/ϵ)/ϵ²)회의 반복 후 ℓ2 오차 한계 ϵ을 달성한다.
• 트리 팩킹 문제에 대해서는 프랭크-울프 기반 분석이 γ = 2/(k+2)의 스텝 사이즈로 O(m/ϵ²)회의 반복 후 덧셈 오차 ℓ2 보장을 제공한다.
• 분석 결과, 동일한 그레디 트리 팩킹 알고리즘이 이차목표 함수를 가진 프랭크-울프로 해석될 수 있으며, 이는 비중량화된 경우 토르룹의 상대 오차 보장보다 더 강한 덧셈 오차 한계를 제공함을 보여준다.
• 논문은 프랭크-울프 프레임워크에서 다양한 볼록 목표 함수(예: 이차함수 vs 소프트맥스)가 동일한 알고리즘 업데이트를 가질 수 있음에도 불구하고 다른 수렴 보장을 초래함을 보여준다.
• 곡률 기반 분석은 비중량화된 경우 토르룹의 O(m log(mn/ϵ)/ϵ³)보다 더 날카로운 반복 복잡도 한계를 제공하며, 1/ϵ³에서 1/ϵ²로 향상된다.