[논문 리뷰] Decomposition Techniques for Bilinear Saddle Point Problems and Variational Inequalities with Affine Monotone Operators on Domains Given by Linear Minimization Oracles

Bruce Cox, Anatoli Juditsky외 1명|arXiv (Cornell University)|2015. 06. 08.

Optimization and Variational Analysis참고 문헌 18인용 수 7

한 줄 요약

이 논문은 선형 최소화 오ракูล(LMO)으로 정의된 도메인에서 이차형 띠자루 문제와 애매한 단조 연산자를 갖는 변분부등식을 해결하기 위한 새로운 분해 기반 알고리즘을 제안한다. 원래 문제를 두 개의 유도된 하위문제로 분해함으로써, 하나는 효율적인 LMO 기반 방법으로 해결 가능한데, 이는 프록시멀 우호적인 구조가 필요로 하지 않으며 수렴 보장을 제공함으로써 이전 연구에서 제안된 펜첼 유형 표현 방법에 비해 더 단순한 대안을 제공한다.

ABSTRACT

The majority of First Order methods for large-scale convex-concave saddle point problems and variational inequalities with monotone operators are proximal algorithms which at every iteration need to minimize over problem's domain X the sum of a linear form and a strongly convex function. To make such an algorithm practical, X should be proximal-friendly -- admit a strongly convex function with easy to minimize linear perturbations. As a byproduct, X admits a computationally cheap Linear Minimization Oracle (LMO) capable to minimize over X linear forms. There are, however, important situations where a cheap LMO indeed is available, but X is not proximal-friendly, which motivates search for algorithms based solely on LMO's. For smooth convex minimization, there exists a classical LMO-based algorithm -- Conditional Gradient. In contrast, known to us LMO-based techniques for other problems with convex structure (nonsmooth convex minimization, convex-concave saddle point problems, even as simple as bilinear ones, and variational inequalities with monotone operators, even as simple as affine) are quite recent and utilize common approach based on Fenchel-type representations of the associated objectives/vector fields. The goal of this paper is to develop an alternative (and seemingly much simpler) LMO-based decomposition techniques for bilinear saddle point problems and for variational inequalities with affine monotone operators.

연구 동기 및 목표

• 선형 최소화 오라클(LMO)로 표현 가능한 도메인에서, 그러나 프록시멀 우호적이지 않은 도메인에서의 볼록-볼록 띠자루 문제와 변분부등식을 위한 일阶 알고리즘을 개발하는 것.
• 저랭크 행렬 복원 및 이미지 복원과 같은 응용 분야에서 기존의 프록시멀 방법의 한계를 해결하는 것. 이들 분야에서는 LMO가 존재하지만 전체 특이값 분해(SVD)나 이차계획법은 계산적으로 비현실적이다.
• 최근 [17]에서 개발된 펜첼 유형 표현 프레임워크에 비해 더 단순하고 분해 기반의 대안을 제시하는 것, 특히 이차형 띠자루 문제와 애매한 변분부등식에 대해.
• 한 유도된 하위문제를 정확한 알고리즘으로 해결하면 주 문제와 다른 유도된 하위문제에 대한 근사해를 효율적으로 생성할 수 있음을 보여주는 것.

제안 방법

• 기존 문제를 두 개의 유도된 하위문제로 분해한다: 하나는 한 변수 집합에 대해 최소화하는 원본 문제이고, 다른 하나는 다른 변수 집합에 대해 최소화하는 이중 문제이며, 둘 다 볼록-볼록 구조를 유지한다.
• 한 유도된 하위문제의 ϵ-해가 주 문제와 다른 유도된 하위문제의 ϵ-해를 직접적으로 유도할 수 있음을 활용함으로써, 해 전이가 가능해진다.
• 해결을 위해 강력한 볼록 정규화가 필요한 프록시멀 방법과는 달리, 도메인 표현에 오직 선형 최소화 오라클(LMO)만을 사용한다.
• 애매한 단조 연산자에 대해, 직접 곱 구조를 통해 유도된 벡터장을 정의함으로써 원래의 변분부등식 문제를 더 낮은 차원의 공간에서 더 단순한 변분부등식 문제로 감소시킬 수 있다.
• 이 프레임워크는 [17]에서 제안된 펜첼 유형 표현 방법을 포함하고 회복할 수 있음을 보여주며, 더 직관적이고 계산적으로 가벼운 분해 메커니즘을 제공한다.

실험 결과

연구 질문

• RQ1 LMO 접근만을 사용하여, 프록시멀 우호성이 요구되지 않는 LMO로 표현된 도메인에서 이차형 띠자루 문제를 해결할 수 있는가?
• RQ2 복잡한 볼록-볼록 띠자루 문제를 LMO 기반 해법 기술에 적합한 더 단순한 하위문제로 어떻게 분해할 수 있는가?
• RQ3 제안된 분해 방법과 [17]에서 제시된 펜첼 유형 표현 프레임워크 사이의 관계는 무엇인가?
• RQ4 한 유도된 하위문제의 ϵ-해를 사용하여 주 문제와 다른 유도된 하위문제의 ϵ-해를 구성할 수 있는가?
• RQ5 애매한 단조 연산자를 갖는 변분부등식을 해결하기 위해 펜첼 기반 표현의 더 단순하고 직접적인 대안을 개발할 수 있는가?

주요 결과

• 제안된 분해 방법은 LMO 접근만을 사용하여 LMO로 표현된 도메인에서 이차형 띠자루 문제와 애매한 변분부등식을 해결할 수 있으며, 프록시멀 우호적인 구조가 필요로 하지 않는다.
• 한 유도된 하위문제의 ϵ-해(예: (P))는 주 문제와 다른 유도된 하위문제(예: (D))의 ϵ-해를 직접적으로 유도할 수 있어 효율적인 해 전이가 가능하다.
• 강한 볼록성이나 프록시멀 최소화가 필요로 하지 않기 때문에, 수렴 보장을 확보하며, 프록시멀 방법이 계산적으로 비용이 많이 드는 핵심노름 볼과 전체 변화량 볼과 같은 도메인에 적용 가능하다.
• 분해 프레임워크는 [17]에서 제안된 펜첼 유형 표현 방법을 포함하고 회복할 수 있음을 보여주며, 더 단순하고 직접적인 공식화를 제공한다.
• 애매한 단조 연산자에 대해, 직접 곱 구조를 통해 유도된 벡터장을 명시적으로 구성함으로써 원래 문제를 더 낮은 차원의 공간에서 더 단순한 변분부등식 문제로 감소시킬 수 있다.