[논문 리뷰] Optimality, identifiability, and sensitivity

Dmitriy Drusvyatskiy, Adrian S. Lewis|arXiv (Cornell University)|2012. 07. 27.

Optimization and Variational Analysis참고 문헌 23인용 수 4

한 줄 요약

이 논문은 최적화에서 최소 식별 가능 집합(minimal identifiable sets)의 개념을 도입하여, 최적성 조건, 민감도 분석, 활성집합 방법 등에 핵심적인 역할을 한다고 보여준다. 또한 식별 가능한 다양체(identifiable manifolds)가 부분 미분가능성(partial smoothness)과 동치임을 입증함으로써, 핵심 변분해석 개념들을 통합하고 비미분가능 최적화 문제의 수렴성과 안정성에 기하학적 기반을 제공한다.

ABSTRACT

Around a solution of an optimization problem, an "identifiable" subset of the feasible region is one containing all nearby solutions after small perturbations to the problem. A quest for only the most essential ingredients of sensitivity analysis leads us to consider identifiable sets that are "minimal". This new notion lays a broad and intuitive variational-analytic foundation for optimality conditions, sensitivity, and active set methods.

연구 동기 및 목표

• 식별 가능성의 개념을 사용하여 비미분가능 최적화의 최적성과 민감도 분석을 위한 변분해석적 프레임워크를 구축한다.
• 소실된 편향에 대한 변화에 비추어 임계점들을 기술하는 데 가장 정보적인 부분집합으로서 최소 식별 가능 집합을 규명한다.
• 식별 가능한 다양체의 개념을 통해 활성집합 방법, 임계원뿔(critical cones), 민감도 분석을 통합한다.
• 식별 가능한 다양체와 고전적 부분 미분가능성의 개념 사이의 정확한 연결 고리를 확립한다.
• 식별 가능한 집합을 통한 기하학적 및 분석적 기반을 제공함으로써 최적화 알고리즘의 수렴성과 안정성에 기여한다.

제안 방법

• 특히 부분미분 사상(subdifferential mappings)에 대해, 임계점에 수렴하는 수열이 하향하는 부분미분을 가지며 결국 식별 가능한 집합 내에 존재하도록 보장하는 성질로 식별 가능성을 정의한다.
• 소정의 편향에 대해 주변의 모든 임계점을 포함하는 가장 작은 집합으로서 국소적으로 최소 식별 가능한 집합을 정의한다.
• 임계원뿔과 탄성원뿔(tangent cones)을 사용하여 식별 가능한 집합의 기하학적 성질을 기술하며, 정칙 조건 하에서 식별 가능한 집합의 탄성원뿔의 닫힌 볼록포함집합이 임계원뿔과 일치함을 보여준다.
• 근처의 임계점에서의 안정성과 부분미분 사상의 미분가능한 근사화를 보장하기 위해 프록시-정칙성(prox-regularity)과 클락 정칙성(Clarke regularity)을 적용한다.
• 네 가지 조건(프록시-정칙성, 다양체에서의 미분가능성, 정규원뿔의 날카러움, 부분미분의 내부 반연속성)을 통해 식별 가능한 다양체와 부분 미분가능성의 동치성을 확립한다.
• 완전한 확장을 생략하기 위해 요약을 위해 프록시 사상(proximal mapping)을 거리 투영의 기능적 유사체로 사용하여 함수 설정으로 결과를 확장한다.

실험 결과

연구 질문

• RQ1 임계점에서 국소적으로 최소 식별 가능한 집합이 존재하고 유일하게 존재하기 위한 조건은 무엇인가?
• RQ2 식별 가능한 집합은 최적화 문제에서 임계원뿔과 활성집합 구조와 어떻게 관련되어 있는가?
• RQ3 변분해석에서 식별 가능한 다양체가 부분 미분가능성과 어떤 의미에서 동치인가?
• RQ4 식별 가능성은 민감도 분석과 최적성 조건을 어떻게 단순화하는가?
• RQ5 탄성원뿔과 정규원뿔은 식별 가능한 집합의 기하학적 구조를 기술하는 데 어떤 역할을 하는가?

주요 결과

• 국소적으로 최소 식별 가능한 집합이 존재한다면, 그 존재와 유일성이 국소적으로 보장되며, 이는 목적함수의 소형 선형 편향에 대한 모든 임계점으로 정확히 구성된다.
• 임계점 주위에서 함수의 이차 성장 조건은 그 최소 식별 가능한 집합 위에서의 이차 성장 조건과 동치이며, 이는 최적성 검증을 단순화한다.
• 클락 정칙성과 프록시-정칙성 조건 하에서, 임계원뿔은 최소 식별 가능한 집합의 탄성원뿔의 닫힌 볼록포함집합과 일치한다.
• 식별 가능한 다양체는 부분 미분가능성과 동치이다: C² 다양체 M이 점 x에서 v에 대해 식별 가능할 때, 그리고 오직 그 때에만 f가 점 x에서 v에 대해 M에 대해 부분 미분가능하고, v가 부분미분의 상대내부에 있을 때이다.
• 함수 f의 부분미분 사상은 최소 식별 가능한 집합에 대한 제약에 의해 국소적으로 결정되며, 즉 (x,f(x),v) 근처에서 ∂f의 그래프는 (x,f(x),v) 근처에서 ∂(f+δ_M)의 그래프와 일치한다.
• f가 클락 정칙이고 f+δ_M가 프록시-정칙이며 미분가능한 경우, 임계원뿔 K_f(x,v)는 정확히 다양체 M의 점 x에서의 탄성원뿔의 닫힌 볼록포함집합과 일치한다.