[논문 리뷰] On the Fenchel Duality between Strong Convexity and Lipschitz Continuous Gradient

Xingyu Zhou|arXiv (Cornell University)|2018. 03. 17.

Optimization and Variational Analysis인용 수 52

한 줄 요약

논문은 Fenchel 이중성의 간단한 증명을 제공합니다: 닫힌 강볼록 함수의 쌍대 함수는 Lipschitz 기울기를 가지며, 그 반대도 성립한다. 부분접 gradients를 이용한 일반화된 볼록성 등가를 사용합니다.

ABSTRACT

We provide a simple proof for the Fenchel duality between strong convexity and Lipschitz continuous gradient. To this end, we first establish equivalent conditions of convexity for a general function that may not be differentiable. By utilizing these equivalent conditions, we can directly obtain equivalent conditions for strong convexity and Lipschitz continuous gradient. Based on these results, we can easily prove Fenchel duality. Beside this main result, we also identify several conditions that are implied by strong convexity or Lipschitz continuous gradient, but are not necessarily equivalent to them. This means that these conditions are more general than strong convexity or Lipschitz continuous gradient themselves.

연구 동기 및 목표

• 강결정성과 매끄럽지 않은 함수의 그래디언트를 확장하는 등가 볼록성 조건을 개발한다.
• 부분그래디언트를 통해 비매끄러운 함수까지 확장되는 등가 볼록성 조건을 개발한다.
• f와 그 쌍대인 f*에 대한 Fenchel 이중성 결과를 증명하고, 정확한 매개 변수 관계를 확립한다.
• 강결정성 또는 Lipschitz 그래디언트에 의해 암시되는 보조 조건을 식별하고 일반성을 명확히 한다.

제안 방법

• 그래디언트를 부분그래디언트로 대체하여(렘마 1) 비매끄러운 함수에 대한 고전적 볼록성 등가를 일반화한다.
• 일차 및 그래디언트 부등식 형태의 등가를 통해 강결정성을 특징지운다(렘마 2).
• 강결정성에서 파생되는 함의 및 보조 조건을 도출한다(렘마 3).
• Lipschitz 그래디언트 조건과 그 함의를 관계화한다(렘마 4).
• 부분그래디언트와 그래디언트를 연결하기 위해 쌍대 함수 결과를 전개하고 활용한다(렘마 5 및 6).
• 주된 Fenchel 이중정리를 증명한다: (i) f의 강결정성이 f*의 Lipschitz 그래디언트를 암시하고, (ii) f의 Lipschitz 그래디언트가 f*의 강결정성을 암시한다.

실험 결과

연구 질문

• RQ1 f의 강결정성과 f의 그래디언트의 Lipschitz 연속성이 쌍대인 f*에 대응하는 Lipschitz/강결정성 특성을 암시하는가?
• RQ2 부분그래디언트를 이용한 일반화된 볼록성 조건이 강결정성과 Lipschitz 그래디언트 사이의 Fenchel 이중성에 대한 더 간단한 증명을 제공하는가?
• RQ3 강결정성 또는 Lipschitz 그래디언트로 암시되는 보조 조건은 무엇이며 표준 정의와 동등한가?

주요 결과

• 만약 f가 닫혀 있고 μ-강결정성(μ-strongly convex)이라면, f*는 1/μ- Lipschitz 그래디언트를 가진다.
• 만약 f의 그래디언트가 L- Lipschitz인 경우, f*는 1/L-강결정성을 가진다.
• 부분그래디언트를 통해 비매끄러운 함수로의 일반화된 등가 볼록성 조건이 확장되어 직접 도출을 가능하게 한다.
• 강결정성이나 Lipschitz 그래디언트에 의해 암시되지만 원래의 성질과 동등하지 않은 여러 약한 또는 더 일반적인 조건이 확인되나 전부가 동등하지는 않다.
• 증명은 최적화 문제에서 동등성을 구축하는 실용적 기법을, 특히 쌍대 분석을 통해 드러낸다.