[논문 리뷰] Variational analysis of spectral functions simplified

Dmitriy Drusvyatskiy, C. Kempton|arXiv (Cornell University)|2015. 06. 16.

Matrix Theory and Algorithms참고 문헌 14인용 수 12

한 줄 요약

이 논문은 더모 엔velope와 프록시멀 매핑을 활용하여 대칭 행렬 위의 스펙트럴 함수의 준미분 공식에 대해 간결하고 기하학적으로 직관적인 유도를 제시한다. 이는 행렬 $ X $ 에서 스펙트럴 함수 $ f \circ \lambda $ 의 준미분이 $ f $ 의 $ \lambda(X) $ 에서의 준미분을 $ X $ 를 보존하는 정규직교 행렬에 의해 공액화한 것으로 결정됨을 밝힌다. 허미션 행렬과 특이값에 대해서도 직접적인 유사 공식이 존재한다.

ABSTRACT

Spectral functions of symmetric matrices -- those depending on matrices only through their eigenvalues -- appear often in optimization. A cornerstone variational analytic tool for studying such functions is a formula relating their subdifferentials to the subdifferentials of their diagonal restrictions. This paper presents a new, short, and revealing derivation of this result. We then round off the paper with an illuminating derivation of the second derivative of twice differentiable spectral functions, highlighting the underlying geometry. All of our arguments have direct analogues for spectral functions of Hermitian matrices, and for singular value functions of rectangular matrices.

연구 동기 및 목표

• 대칭 행렬 위의 스펙트럴 함수에 대한 준미분 공식을 간결하고 초보자도 이해할 수 있으며 기하학적으로 통찰력 있는 방식으로 유도하는 것.
• 프록시멀 매핑을 통한 스펙트럴 함수의 준미분과 그 기저가 되는 순열 치환 불변 함수의 준미분 간의 관계를 명확히 하는 것.
• 이차 미분 가능($ C^2 $) 스펙트럴 함수에 대한 분석을 확장하여, 그 헤시안의 투명한 기하학적 유도를 제공하는 것.
• 기존의 프레임워크를 특이값 함수와 허미션 행렬 등 다른 군-불변 설정으로 일반화하는 것.
• 최소한의 기하학적 및 해석적 도구를 사용하여 스펙트럴 및 특이값 함수의 변분 분석 분야에서 기존 결과들을 통합하고 단순화하는 것.

제안 방법

• 프록시멀 매핑의 관계를 유도하기 위해 더모 엔velope $ f_\alpha(x) = \inf_y \{ f(y) + \frac{1}{2\alpha} |x - y|^2 \} $ 를 사용하여 $ f \circ \lambda $ 와 $ f $ 의 프록시멀 매핑 간의 관계를 설정하고, $ (f \circ \lambda)_\alpha = f_\alpha \circ \lambda $ 를 도출한다.
• 테오바우트–본 뉴만 부등식을 활용하여 대칭 행렬 공간 $ \mathbf{S}^n $ 을 $ \mathbf{R}^n $ 으로의 거리 감소를 보장함으로써 스펙트럴 함수 분석을 대각선 경우로 환원한다.
• 함수 $ g $ 에 대해 $ v \in \partial g(x) $ 이다 ⇔ 단변수 함수 $ \alpha \mapsto g_\alpha(x + \alpha v) $ 가 0에서 오른쪽 도함수를 갖는다는 특성화를 적용하여 준미분 소속성과 프록시멀 행동 간의 연결 고리를 설정한다.
• 기울기 그래프의 불변성 성질을 활용하여 $ C^2 $-스무스 스펙트럴 함수의 헤시안을 유도하고, 두 번째 도함수를 대각선 항과 하다르드형 항의 조합으로 해석한다.
• 콤��� 군 $ \mathcal{G} $ 의 등거리 변환으로서의 작용을 기반으로 한 일반적 프레임워크를 수립하며, 궤도 공간 위의 함수와 전체 공간 위의 함수 간의 관련성을 정의하기 위해 당김과 밀림을 정의한다.
• 충실한 거리 감소 조건을 통해 전체 공간의 프록시멀 매핑이 감소된 공간의 군 궤도상의 프록시멀 점에 대응함을 보장하고, 핵심 준미분 공식을 도출한다.

실험 결과

연구 질문

• RQ1 스펙트럴 함수의 준미분 공식을 볼록 경우만큼 접근하기 쉬우며 직관적인 방식으로 어떻게 도출할 수 있는가?
• RQ2 더모 엔velope와 프록시멀 매핑은 스펙트럴 함수의 준미분과 그 대각선 제약된 함수의 준미분을 어떻게 연결하는가?
• RQ3 고유값 사상의 기하학적 구조와 군 불변성은 비미분 가능한 스펙트럴 함수 분석을 어떻게 단순화하는가?
• RQ4 이차 미분 가능($ C^2 $) 스펙트럴 함수의 두 번째 도함수를 대수적 복잡성 없이 기하학적으로 명확하게 도출할 수 있는가?
• RQ5 거리 감소와 군 작용의 프레임워크는 특이값 함수와 같은 다른 불변 함수로 얼마나 일반화할 수 있는가?

주요 결과

• 행렬 $ X $ 에서 스펙트럴 함수 $ f \circ \lambda $ 의 준미분은 $ \partial(f \circ \lambda)(X) = \{ U (\text{Diag}\, v) U^T : v \in \partial f(\lambda(X)),\, U \in \mathcal{O}_X^n \} $ 로 주어지며, 여기서 $ \mathcal{O}_X^n $ 은 $ X $ 에 대한 정규직교 공액화에 대한 안정자군이다.
• 스펙트럴 함수 $ f \circ \lambda $ 의 더모 엔velope 는 $ (f \circ \lambda)_\alpha = f_\alpha \circ \lambda $ 를 만족하며, 이는 프록시멀 매핑 계산을 대각선 경우로 직접 환원할 수 있음을 보장한다.
• 스펙트럴 함수 $ f \circ \lambda $ 의 프록시멀 매핑은 $ P_\alpha(f \circ \lambda)(X) = \{ g^{-1} Y : y \in P_\alpha f(p(X)),\, g \in \mathcal{G}_X \} $ 로 주어지며, 여기서 $ \mathcal{G}_X $ 는 $ X $ 의 안정자군이다.
• 이차 미분 가능($ C^2 $) 스펙트럴 함수의 경우, 헤시안은 $ \nabla^2 F(\text{Diag}\, a)[B] = \text{Diag}(\nabla^2 f(a) \cdot \text{diag}(B)) + \mathcal{A} \circ B $ 로 표현되며, $ \mathcal{A}_{ij} $ 는 기울기의 차이를 통해 정의되고 헤시안 항은 고유값 간 간격에 따라 달라진다.
• 이 프레임워크는 대칭 행렬 외에도 일반화 가능하며, 동일한 군 작용과 거리 감소 원리를 통해 허미션 행렬과 특이값 함수에 대해서도 동일한 준미분 공식이 성립한다.
• 유도 과정은 테오바우트–본 뉴만 부등식과 고유값 사상의 구조 외에 추가적인 가정 없이 수행되며, 이는 타당성과 일반성을 갖춘 유연한 프레임워크를 제공한다.