[논문 리뷰] The Complex Gradient Operator and the CR-Calculus

Ken Kreutz-Delgado|ArXiv.org|2009. 06. 26.

Mathematical Analysis and Transform Methods참고 문헌 17인용 수 379

한 줄 요약

이 논문은 복소변수의 실수값 함수의 기울기를 계산하기 위한 엄밀한 프레임워크인 $ℂ\mathbb{CR}$-미분법을 소개한다. 이는 복소함수를 $ℝ^2$에서 $ℝ$로의 미분 가능 사상으로 간주함으로써 복소기울기 정의의 모호함을 해결한다. 공액 기울기(cogradient) 연산자를 통해 복소 LMS 알고리즘을 유도하며, 표준 복소 LMS 업데이트 규칙이 이 형식주의에서 자연스럽게 유도됨을 보여주며, 기울기는 $\nabla_a \ell(a) = -\mathbb{E}\{\xi_k \bar{e}_k\}$로 계산된다.

ABSTRACT

A thorough discussion and development of the calculus of real-valued functions of complex-valued vectors is given using the framework of the Wirtinger Calculus. The presented material is suitable for exposition in an introductory Electrical Engineering graduate level course on the use of complex gradients and complex Hessian matrices, and has been successfully used in teaching at UC San Diego. Going beyond the commonly encountered treatments of the first-order complex vector calculus, second-order considerations are examined in some detail filling a gap in the pedagogic literature.

연구 동기 및 목표

• 복소해석적이지 않은 실수값 복소변수 함수에 대해 복소기울기를 정의하는 데 발생하는 혼동과 모순을 해결하기 위해.
• 복소함수를 $ℝ^2$에서 $ℝ$로의 사상으로 간주함으로써 일관된 프레임워크인 $ℂ\mathbb{CR}$-미분법을 체계화하여 최적화를 위한 기울기 계산을 가능하게 하기 위해.
• 스토케스틱 기울기 하강법의 맥락에서 복소공액기울기(row vector)와 복소기울기(column vector) 간의 차이를 명확히 하기 위해.
• 복소 LMS 알고리즘을 $ℂ\mathbb{CR}$-미분법을 통해 원천에서 유도하여, 공액기울기 연산자를 통해 표준 형태와의 동치성을 보여주기 위해.
• 이차 손실 함수의 맥락에서, 더 복잡하지만 더 빠른 전체 뉴턴 방법에 비해 의사-뉴턴 방법이 더 느리게 수렴한다는 것을 보여주기 위해.

제안 방법

• 논문은 복소함수를 $ℝ^2$에서 $ℝ$로의 실수 사상으로 간주함으로써 표준 복소해석도함수가 실패하는 경우에도 미분이 가능하도록 하는 하이브리드 프레임워크인 $ℂ\mathbb{CR}$-미분법을 도입한다.
• 복소공액기울기 연산자는 $a$에 대한 행렬 미분으로 정의되며, 복소기울기는 이를 켤레 전치한 것으로, 가장 급격한 상승 방향을 보장한다.
• 실수값 손실 함수 $\ell(a) = \mathbb{E}\{ |e_k|^2 \}$에 대해 공액기울기는 $\frac{\partial}{\partial a} \ell(a) = \mathbb{E}\{ -e_k \xi_k^H \}$로 계산되며, $|e_k|^2 = e_k \bar{e}_k$에 대해 연쇄법칙을 적용한다.
• 기울기는 $\nabla_a \ell(a) = -\mathbb{E}\{ \xi_k \bar{e}_k \}$로 도출되며, 이는 가장 급격한 상승 방향을 제공하고, 적응형 알고리즘에서 가장 급격한 하강 업데이트로 이어진다.
• 복소 LMS 알고리즘은 순간적인 스토케스틱 기울기 근사화를 통해 유도되며, $\widehat{a}_{k+1} = \widehat{a}_k + \alpha_k \xi_k \bar{e}_k$로 표현되며, $\bar{e}_k = \bar{\eta}_k - \xi_k^H \widehat{a}_k$이다.
• 논문은 의사-뉴턴 방법과 전체 뉴턴 방법을 대조하며, 헤시안의 대각성분이 일반적으로 0이 아니며 무시할 수 없기 때문에 의사-뉴턴 방법이 더 느리게 수렴한다는 것을 보여준다.

실험 결과

연구 질문

• RQ1 복소해석적이지 않은 실수값 복소변수 함수에 대해 일관적으로 복소기울기를 정의할 수 있는 방법은 무엇인가?
• RQ2 최적화 과정에서 복소공액기울기(row vector)와 복소기울기(column vector) 간의 관계는 무엇인가?
• RQ3 표준 복소 LMS 알고리즘이 왜 업데이트 규칙에서 오차의 켤레를 사용하는가? 이는 엄밀한 미분법 프레임워크에서 어떻게 도출되는가?
• RQ4 의사-뉴턴 방법이 이차 손실 문제에서 일주일 만에 수렴하지 못하는 조건는 무엇이며, 그 이유는 무엇인가?
• RQ5 $ℂ\mathbb{CR}$-미분법이 신호처리 및 적응 필터링 분야에서 복소도함수에 대한 문헌의 모호함과 모순을 어떻게 해결하는가?

주요 결과

• 복소 LMS 알고리즘은 $ℂ\mathbb{CR}$-미분법에서 엄밀히 유도되었으며, 업데이트 규칙 $\widehat{a}_{k+1} = \widehat{a}_k + \alpha_k \xi_k \bar{e}_k$가 기울기 $\nabla_a \ell(a) = -\mathbb{E}\{ \xi_k \bar{e}_k \}$에서 유도됨을 보여준다.
• 공액기울기 $\frac{\partial}{\partial a} |e_k|^2 = -e_k \xi_k^H$이며, 이를 켤레 전치하면 $\nabla_a |e_k|^2 = -\xi_k \bar{e}_k$로 기울기가 도출된다.
• 최소 평균 제곱 오차(MMSE) 추정의 위너-홉프 방정식은 손실 함수의 정적점으로 복구되어 고전적 결과와 일관됨을 확인한다.
• 의사-뉴턴 알고리즘이 전체 뉴턴 방법보다 더 느리게 수렴하는 이유는 헤시안 행렬 $\mathcal{H}_{\mathbf{c}\mathbf{c}}^{\mathbb{C}}$의 대각성분이 일반적으로 0이 아니며 무시할 수 없기 때문이다.
• 논문은 [32]에서 제기한 주장, 즉 이차 손실 함수의 헤시안 행렬의 비대각성분은 반드시 0이어야 한다는 주장을 반박하며, 이는 헬름홀로프 역문제에 대해서만 성립하며 일반적으로는 성립하지 않음을 보여준다.
• $ℂ\mathbb{CR}$-미분법은 신호처리 분야에서 복소도함수에 대한 오랫동안 지속된 모호함을 해결하는 일관되고 명확한 프레임워크를 제공한다.