[論文レビュー] Variational analysis of spectral functions simplified

Dmitriy Drusvyatskiy, C. Kempton|arXiv (Cornell University)|Jun 16, 2015

Matrix Theory and Algorithms参考文献 14被引用数 12

ひとこと要約

本稿では、モラウエンvelopeとproximal写像を用いて、対称行列上のスペクトル関数の部分微分公式を、幾何的直感に裏打ちされた簡潔な導出を提示する。この導出により、行列 $ X $ におけるスペクトル関数 $ f \circ \lambda $ の部分微分が、$ \lambda(X) $ における $ f $ の部分微分を、$ X $ を保存する直交行列によって共役化することで定まることが示され、ヘルミート行列および特異値に対しても同様の類似形が成り立つ。

ABSTRACT

Spectral functions of symmetric matrices -- those depending on matrices only through their eigenvalues -- appear often in optimization. A cornerstone variational analytic tool for studying such functions is a formula relating their subdifferentials to the subdifferentials of their diagonal restrictions. This paper presents a new, short, and revealing derivation of this result. We then round off the paper with an illuminating derivation of the second derivative of twice differentiable spectral functions, highlighting the underlying geometry. All of our arguments have direct analogues for spectral functions of Hermitian matrices, and for singular value functions of rectangular matrices.

研究の動機と目的

• 対称行列上のスペクトル関数の部分微分公式を、短く、初等的かつ幾何的に直感的な方法で導出すること。
• proximal写像を通じて、スペクトル関数の部分微分とその置換不変関数の部分微分との関係を明確にすること。
• $ C^2 $-滑らかなスペクトル関数に対して、そのヘッセ行列を透明な幾何的視点から導出すること。
• この枠組みを、特異値関数やヘルミート行列など、他の群不変設定に拡張すること。
• 最小限の幾何的・解析的道具を用いて、スペクトル関数および特異値関数の変分解析における既存結果を統一的かつ簡素化すること。

提案手法

• 関数 $ f \circ \lambda $ のproximal写像と $ f $ のそれとの関係を確立するため、モラウエンvelope $ f_\alpha(x) = \inf_y \{ f(y) + \frac{1}{2\alpha} |x - y|^2 \} $ を用い、$ (f \circ \lambda)_\alpha = f_\alpha \circ \lambda $ を示す。
• 対称行列空間 $ \mathbf{S}^n $ を $ \mathbf{R}^n $ に測度的還元するために、テオバルド＝フォン・ノイマンの不等式を用いることで、スペクトル関数の解析を対角成分のケースに還元可能にする。
• 「$ v \in \partial g(x) $ であることと、関数 $ \alpha \mapsto g_\alpha(x + \alpha v) $ が 0 における右微分を持つこととは同値である」という特徴づけを用い、部分微分の属する条件をproximal行動と結びつける。
• $ C^2 $-滑らかなスペクトル関数のヘッセ行列を、勾配のグラフの不変性から導出し、2階微分を対角成分とハダマード型の項の組み合わせとして解釈する。
• コンパクトな等長群 $ \mathcal{G} $ による $ \mathcal{G} $-不変関数の一般枠組みを確立し、軌道空間上の関数と全空間上の関数を結ぶpullbackとpushforwardを定義する。
• 忠実な測度的還元条件を用いて、全空間上のproximal写像が、還元空間上でのproximal点の群軌道に対応することを保証し、主要な部分微分公式を導出する。

実験結果

リサーチクエスチョン

• RQ1 スペクトル関数の部分微分公式を、凸の場合と同様に直感的かつアクセス可能な方法で導出するにはどうすればよいか？
• RQ2 モラウエンvelopeとproximal写像が、スペクトル関数の部分微分とその対角制限の部分微分とをどのように結びつけるか？
• RQ3 固有値写像の幾何と群不変性は、非滑らかなスペクトル関数の解析をどのように簡素化するか？
• RQ4 $ C^2 $-滑らかなスペクトル関数の2階微分を、代数的曖昧さを避け、幾何的明確性をもって導出できるか？
• RQ5 測度的還元と群作用の枠組みは、特異値関数などの他の不変関数へ、どの程度一般化可能か？

主な発見

• 行列 $ X $ におけるスペクトル関数 $ f \circ \lambda $ の部分微分は、$ \partial(f \circ \lambda)(X) = \{ U (\text{Diag}\, v) U^T : v \in \partial f(\lambda(X)),\, U \in \mathcal{O}_X^n \} $ で与えられる。ここで $ \mathcal{O}_X^n $ は、直交共役作用における $ X $ の安定化部分群である。
• スペクトル関数 $ f \circ \lambda $ のモラウエンvelope は $ (f \circ \lambda)_\alpha = f_\alpha \circ \lambda $ を満たし、proximal写像の計算を対角成分のケースに直接還元可能である。
• $ f \circ \lambda $ のproximal写像は $ P_\alpha(f \circ \lambda)(X) = \{ g^{-1} Y : y \in P_\alpha f(p(X)),\, g \in \mathcal{G}_X \} $ で与えられる。ここで $ \mathcal{G}_X $ は $ X $ の安定化部分群である。
• $ C^2 $-滑らかなスペクトル関数に対して、ヘッセ行列は $ \nabla^2 F(\text{Diag}\, a)[B] = \text{Diag}(\nabla^2 f(a) \cdot \text{diag}(B)) + \mathcal{A} \circ B $ と表される。ここで $ \mathcal{A}_{ij} $ は勾配の差分を用いて定義され、ヘッセ行列の成分は固有値の分離度に依存する。
• この枠組みは対称行列を超えて一般化可能である：同じ部分微分公式は、ヘルミート行列および特異値関数に対しても、同じ群作用と測度的還元の原則によって成り立つ。
• 導出は、テオバルド＝フォン・ノイマンの不等式と固有値写像の構造のみに依存するため、等長群作用が施されたユークリッド空間の広い設定へも強固に適用可能である。