[논문 리뷰] Quadratic Decomposable Submodular Function Minimization: Theory and Practice

Pan Li, Niao He외 1명|arXiv (Cornell University)|2019. 02. 26.

Complexity and Algorithms in Graphs인용 수 7

한 줄 요약

이 논문은 그래프 및 초그래프 학습 작업을 모델링하기 위한 새로운 볼록 최적화 프레임워크인 이차 분해 가능 서브모듈라 함수 최소화(QDSFM)를 소개한다. 이는 랜덤 좌표 강하 또는 교대 투영을 사용하는 双중 루프 알고리즘을 통한 이중 전략을 제안하여 선형 수렴를 달성하며, 초그래프 PageRank 및 보다 높은 정확도와 효율성을 보이는 준지도 학습에의 적용을 보여준다.

ABSTRACT

We introduce a new convex optimization problem, termed quadratic decomposable submodular function minimization (QDSFM), which allows to model a number of learning tasks on graphs and hypergraphs. The problem exhibits close ties to decomposable submodular function minimization (DSFM), yet is much more challenging to solve. We approach the problem via a new dual strategy and formulate an objective that can be optimized through a number of double-loop algorithms. The outer-loop uses either random coordinate descent (RCD) or alternative projection (AP) methods, for both of which we prove linear convergence rates. The inner-loop computes projections onto cones generated by base polytopes of the submodular functions, via the modified min-norm-point or Frank-Wolfe algorithm. We also describe two new applications of QDSFM: hypergraph-adapted PageRank and semi-supervised learning. The proposed hypergraph-based PageRank algorithm can be used for local hypergraph partitioning, and comes with provable performance guarantees. For hypergraph-adapted semi-supervised learning, we provide numerical experiments demonstrating the efficiency of our QDSFM solvers and their significant improvements on prediction accuracy when compared to state-of-the-art methods.

연구 동기 및 목표

• 기존의 서브모듈라 최소화 프레임워크를 일반화하는 새로운 유형의 볼록 최적화 문제인 이차 분해 가능 서브모듈라 함수 최소화(QDSFM)를 해결하는 데 도전하는 것.
• 그래프 및 초그래프에서의 복잡한 학습 작업을 처리할 수 있는 효율적인 알고리즘을 개발하는 것.
• 특히 선형 수렴 속도를 보장하는 제안된 해법에 대한 증명 가능 수렴 보장을 확립하는 것.
• 지역 초그래프 분할 및 준지도 학습과 같은 실질적 응용을 통해 실용적 유용성을 입증하는 것.

제안 방법

• QDSFM을 이중 최적화 문제로 재구성하여, 바깥 루프에서 좌표 강하 및 교대 투영 방법을 사용할 수 있도록 한다.
• 내부 루프에서 서브모듈라 함수의 기본 다면체에 의해 생성된 원뿔 위로의 투영을 수행하는 이중 루프 구조를 채택한다.
• 내부 루프의 투영을 효율적으로 계산하기 위해 수정된 최소노름점 또는 프랭크-울프 알고리즘을 사용한다.
• 바깥 루프에서 랜덤 좌표 강하(RCD) 및 교대 투영(AP) 방법을 적용하며, 양자 모두 선형 수렴가능성이 입증되어 있다.
• 서브모듈라 함수의 분해 가능성 특성을 활용하여 최적화 문제를 다룰 수 있는 구성요소로 분해한다.
• 기본 다면체를 원뿔 최적화 프레임워크에 통합하여 확장 가능한 계산을 가능하게 한다.

실험 결과

연구 질문

• RQ1 그래프 및 초그래프에서 복잡한 학습 작업을 이차 분해 가능 서브모듈라 함수를 통해 모델링할 수 있는 새로운 볼록 최적화 프레임워크를 개발할 수 있는가?
• RQ2 기존의 분해 가능 서브모듈라 최소화보다 더 높은 복잡성을 지닌 QDSFM을 효율적으로 해결할 수 있는가?
• RQ3 제안된 기반 기반의 이중 루프 알고리즘에 대해 어떤 수렴 보장을 확립할 수 있는가?
• RQ4 QDSFM은 지역 초그래프 분할 및 준지도 학습과 같은 실세계 학습 작업에 효과적으로 적용될 수 있는가?
• RQ5 정확도 및 효율성 측면에서 QDSFM 기반 해법은 최신 기술 대비 어떻게 성능을 발휘하는가?

주요 결과

• 랜덤 좌표 강하 또는 교대 투영 방법을 사용할 경우 제안된 QDSFM 해법이 선형 수렴 속도를 달성한다.
• 내부 루프의 투영 단계는 서브모듈라 함수의 기본 다면체에 의해 생성된 원뿔 위에서 수정된 최소노름점 또는 프랭크-울프 알고리즘을 통해 효율적으로 계산된다.
• QDSFM 기반의 초그래프 적응형 PageRank 알고리즘은 지역 초그래프 분할에 대해 증명 가능한 성능 보장을 제공한다.
• 수치 실험 결과, QDSFM 기반 준지도 학습 모델이 최신 기술 대비 예측 정확도에서 뚜렷한 향상을 보였다.
• 이중 루프 알고리즘 프레임워크는 높은 계산 효율성을 보이며, 대규모 그래프 및 초그래프 학습 작업에 대한 실용적 구현을 가능하게 한다.