[논문 리뷰] Nonsmooth Analysis and Optimization

Christian Clason|arXiv (Cornell University)|2017. 08. 14.

Numerical methods in inverse problems참고 문헌 47인용 수 77

한 줄 요약

미분불가능 해석과 최적화에 대한 포괄적 강의노트 스타일의 조사로, 함수해석, 볼록해석, 및 리프시츠 분석을 다루며, 변분 방법, 서브미분, 그리고 무한차원 공간에서의 proximal/ splitting 기법에 중점을 둔다.

ABSTRACT

These lecture notes for a graduate course cover generalized derivative concepts useful in deriving necessary optimality conditions and numerical algorithms for nondifferentiable optimization problems in inverse problems, imaging, and PDE-constrained optimization. Treated are convex functions and subdifferentials, Fenchel duality, monotone operators and resolvents, Moreau--Yosida regularization, proximal point and (some) first-order splitting methods, Clarke subdifferentials, and semismooth Newton methods. The required background from functional analysis and calculus of variations is also briefly summarized.

연구 동기 및 목표

• 무한 차원 공간에서의 최적화를 위한 함수해석적 기초를 소개한다.
• 최적해의 존재를 위한 변분 도구들(직접법, 약/강 수렴, 강결성)을 개발한다.
• 함체 분석 프레임워크(서브미분, Fenchel 이중성, 단조 연산자) 및 proximal 방법을 제시한다.
• 비연속 최적화를 위한 리프시츠 분석(Clarke 서브미분, 반매끄러운 뉴턴)을 도입한다.
• 이론과 실용 알고리즘을 proximal 포인트, 분할 및 Moreau–Yosida 정규화를 통해 연결한다.

제안 방법

• 노름공간, 이중성, 수렴(강한, 약한, 약-* )의 표준 정의와 성질을 제시한다.
• 최적해의 존재를 입증하기 위해 변분법에서 직접법을 사용하고, 강결성 및 약한 하한 연속성을 이용한다.
• Banach 공간에서의 미분 계산(Gâteaux/Fréchet 도함수, 체인 규칙, Bochner 적분)을 개발한다.
• 초가법적(Nemytskii) 연산자를 도입하고 Carathéodory 증가 조건하에서 연속성/ 미분가능성을 분석한다.
• 최적화를 위한 볼록 해석 도구들(서브미분, Fenchel 이중성, 단조 연산자) 및 proximal/분할 방법을 개요한다.
• 비연속 문제에 대한 일반화 미분(Clarke, Mordukhovich) 및 Newton형 방법을 논의한다.

실험 결과

연구 질문

• RQ1 무한 차원 공간에서의 비연속 함수들의 최적해 존재를 어떻게 확립할 수 있는가?
• RQ2 Banach 공간에 확장되는 미분불가능성을 다루는 미적 규칙(서브미분, 체인 규칙, 평균값 정리)은 무엇인가?
• RQ3 볼록/노이즈 설정에서 proximal 포인트와 분할 방법을 어떻게 구성하고 분석할 수 있는가?
• RQ4 Lebesgue 공간 간에 초가법적 연산자들이 연속적이거나 미분가능해지는 조건은 무엇인가?
• RQ5 Clarke/제한적(subdifferentials) 이를 이용해 비연속 최적화의 Newton형 방법을 어떻게 개발할 수 있는가?

주요 결과

• 직접법은 réflexive Banach 공간에서 강결성 및 약한 하한 연속성을 갖는 함수들에 대해 최적해의 존재를 보장한다.
• 약한 하한 연속성은 더하기, 연속 사상의 합성, 지수에 대한 상계등의 연산 하에서 보존된다.
• Carathéodory 증가 조건은 Lp 공간 사이의 초가법적 연산자의 연속성을 보장하여 점별 비선형성을 변분 모델에 포함시킨다.
• Gâteaux 미분가능성은 Banach 공간에서 Fermat형 최적성 조건을 제공하며, 힐베르트 공간에서는 그래디언트를 류지스 표상으로 식별할 수 있다.
• 프로시멀 포인트, 분할 및 Moreau–Yosida 정규화는 볼록 및 단조 연산자 기반 최적화 알고리즘의 프레임워크를 제공한다.
• Clarke 서브미분 및 Mordukhovich/제한적 서브미분은 고전적 최적성 조건을 비연속 환경으로 확장하여 반매끄러운 Newton 방법을 가능하게 한다.