[論文レビュー] The Complex Gradient Operator and the CR-Calculus

Ken Kreutz-Delgado|ArXiv.org|Jun 26, 2009

Mathematical Analysis and Transform Methods参考文献 17被引用数 379

ひとこと要約

この論文は、複素変数の実数値関数の勾配を計算するための厳密な枠組み、$ℂ\mathbb{CR}$-微分法を導入する。これは、複素関数を$ℝ^2$から$ℝ$への微分可能な写像として扱い、複素勾配の定義に生じる曖昧さを解消する。共役勾配（cogradient）作用素を用いて複素LMSアルゴリズムを導出し、標準的な複素LMS更新則がこの形式的枠組みから自然に導かれることが示され、勾配は$\nabla_a \ell(a) = -\mathbb{E}\{\xi_k \bar{e}_k\}$として計算される。

ABSTRACT

A thorough discussion and development of the calculus of real-valued functions of complex-valued vectors is given using the framework of the Wirtinger Calculus. The presented material is suitable for exposition in an introductory Electrical Engineering graduate level course on the use of complex gradients and complex Hessian matrices, and has been successfully used in teaching at UC San Diego. Going beyond the commonly encountered treatments of the first-order complex vector calculus, second-order considerations are examined in some detail filling a gap in the pedagogic literature.

研究の動機と目的

• 複素解析的でない実数値関数の複素勾配を定義する際の混乱と不一致を解消すること。
• 複素関数を$ℝ^2$から$ℝ$への写像として扱う一貫性のある枠組み、$ℂ\mathbb{CR}$-微分法を形式化し、最適化のための適切な勾配計算を可能にすること。
• 確率的勾配降下法の文脈において、複素共役勾配（行ベクトル）と複素勾配（列ベクトル）作用素の違いを明確にすること。
• $ℂ\mathbb{CR}$-微分法を用いて複素LMSアルゴリズムを第一原理から導出し、共役勾配を介して標準形式と同等であることを示すこと。
• 2次損失関数の文脈で、擬似ニュートン法が、計算量が少ないにもかかわらず、完全なニュートン法よりも収束が遅いことを示すこと。

提案手法

• 論文は、標準的な複素解析的微分が失敗する状況でも微分が可能な、複素関数を$ℝ^2$から$ℝ$への写像として扱うハイブリッド枠組み、$ℂ\mathbb{CR}$-微分法を導入する。
• 複素共役勾配作用素は、$a$に関する行ベクトル微分として定義され、複素勾配はその共役転置として定義され、勾配の上昇方向が正しく保証される。
• 実数値損失関数$\ell(a) = \mathbb{E}\{ |e_k|^2 \}$に対して、共役勾配は$\frac{\partial}{\partial a} \ell(a) = \mathbb{E}\{ -e_k \xi_k^H \}$として計算され、$|e_k|^2 = e_k \bar{e}_k$の合成関数の微分法則を用いる。
• 勾配は$\nabla_a \ell(a) = -\mathbb{E}\{ \xi_k \bar{e}_k \}$として導出され、これは勾配降下法における勾配降下方向を定義し、適応アルゴリズムに応用される。
• 複素LMSアルゴリズムは、瞬時の確率的勾配近似を用いて導出される：$\widehat{a}_{k+1} = \widehat{a}_k + \alpha_k \xi_k \bar{e}_k$、ここで$\bar{e}_k = \bar{\eta}_k - \xi_k^H \widehat{a}_k$。
• 論文は、擬似ニュートン法と完全なニュートン法を比較し、ヘッセ行列の対角成分が一般にゼロでないため、前者の収束が遅いことを示している。

実験結果

リサーチクエスチョン

• RQ1 複素解析的でない実数値関数の複素変数に対する複素勾配を一貫して定義する方法は何か？
• RQ2 最適化における複素共役勾配（行ベクトル）と複素勾配（列ベクトル）の関係は何か？
• RQ3 標準的な複素LMSアルゴリズムが更新則で誤差の共役を用いるのはなぜか？これは厳密な微分法枠組みからどのように導かれるか？
• RQ4 擬似ニュートン法が2次損失問題で1ステップ収束しない条件は何か？その理由は？
• RQ5 $ℂ\mathbb{CR}$-微分法は、信号処理および適応フィルタリング分野における複素微分に関する文献の曖昧さと不整合をどのように解消するか？

主な発見

• 複素LMSアルゴリズムは$ℂ\mathbb{CR}$-微分法から厳密に導出され、更新則$\widehat{a}_{k+1} = \widehat{a}_k + \alpha_k \xi_k \bar{e}_k$が勾配$\nabla_a \ell(a) = -\mathbb{E}\{ \xi_k \bar{e}_k \}$から自然に導かれることが示された。
• $a$に関する$|e_k|^2$の共役勾配は$-e_k \xi_k^H$であり、これの共役転置により$\nabla_a |e_k|^2 = -\xi_k \bar{e}_k$が得られる。
• 最小平均二乗誤差（MMSE）推定のウィーナー＝ホプフ方程式は、損失関数の停留点として回復され、古典的結果と整合的であることが確認された。
• 擬似ニュートン法は、ヘッセ行列$\mathcal{H}_{\mathbf{c}\mathbf{c}}^{\mathbb{C}}$の対角成分が一般にゼロでないため、完全なニュートン法よりも収束が遅い。
• 文献[32]が2次損失関数に対してヘッセ行列の非対角成分がゼロでなければならないと主張しているが、これは正則な逆問題にのみ成り立つものであり、一般には成り立たないことを示した。
• $ℂ\mathbb{CR}$-微分法は、信号処理分野における複素微分に関する長年の曖昧さを解消し、一貫性があり明確な複素勾配計算の枠組みを提供する。