[논문 리뷰] Automatic Differentiation for Complex Valued SVD

Zhou‐Quan Wan, Shi‐Xin Zhang|arXiv (Cornell University)|2019. 09. 04.

Computational Physics and Python Applications참고 문헌 1인용 수 4

한 줄 요약

이 논문은 복소수 행렬 특이분해(SVD)에 대한 역방향 자동미분(AD) 공식을 유도하며, 복소수 텐서 네트워크를 위한 AD 인프라에서 중요한 격차를 메운다. 주요 기여는 복소해석적 구조로 인해 발생하는 새로운 항 $\bar{\boldsymbol{A}}_d = \frac{1}{2} U S^{-1} (\boldsymbol{L}^\top - \boldsymbol{L}) V^\top$ 로, 이는 실수 SVD에서는 존재하지 않으며 양자역학 및 복소수 텐서를 포함하는 기계학습 응용 분야에서 정확한 역전파를 가능하게 한다.

ABSTRACT

In this note, we report the back propagation formula for complex valued singular value decompositions (SVD). This formula is an important ingredient for a complete automatic differentiation(AD) infrastructure in terms of complex numbers, and it is also the key to understand and utilize AD in tensor networks.

연구 동기 및 목표

• 복소수 특이분해(SVD)에 대한 역방향 자동미분(AD) 지원 부족 문제를 해결하여, 복소수 텐서 네트워크의 AD 인프라에서 중요한 격차를 메운다.
• 특히 양자역학 및 기계학습에서 흔한 복소수 텐서를 포함하는 최적화 파이프라인에서 기울기 계산을 가능하게 한다.
• 복소수 SVD의 역전파 공식에 대한 수학적으로 엄밀한 유도를 제공하며, 게이지 불변성과 비해석적 의존성의 처리를 포함한다.
• 복소수 행렬 함수에 대한 정확한 기울기 표현을 식별하여 기존 AD 프레임워크와의 수치적 안정성과 호환성을 확보한다.
• 복소수 연산에 대한 완전하고 정확한 기울기 공식을 제공함으로써 SVD를 기울기 가능 텐서 네트워크 모델에 통합할 수 있도록 한다.

제안 방법

• 실수 손실 함수를 고려하여 복소해석학을 기반으로 한 복소미분을 사용하여 복소수 SVD의 역방향 AD 기울기를 유도한다.
• 단위행렬 제약 조건으로 인해 $U$, $S$, $V$의 미분을 반에르미트 행렬로 표현하는 방식으로 SVD 분해 $A = USV^\top$ 에 대한 체인 룰을 적용한다.
• 비대각항 기여를 기록하기 위해 보조 행렬 $\boldsymbol{J} = F \bigcirc (U^\top \bar{U})$, $\boldsymbol{K} = F \bigcirc (V^\top \bar{V})$, $\boldsymbol{L} = I \bigcirc (V^\top \bar{V})$ 를 도입하며, 여기서 $F_{ij} = \frac{1}{s_j^2 - s_i^2}$ for $i \neq j$ 이다.
• 실수 변수의 복소수 함수에 대한 비해석적 성질로 인해 발생하는 새로운 항 $\bar{\boldsymbol{A}}_d = \frac{1}{2} U S^{-1} (\boldsymbol{L}^\top - \boldsymbol{L}) V^\top$ 를 식별한다.
• 게이지 불변성과 추적 항등식을 활용하여 일관성 조건을 도출하여 SVD 분해에서 위상 모호성에 영향을 받지 않는 기울기 보장한다.
• 실수 손실 함수에 대해 $\bar{\boldsymbol{A}} = 2 (\bar{\boldsymbol{A}}^*)$ 로 변환하여 도함수 표현을 기울기 형태로 변환하고, 최종 공식을 식 (1)에 제시한다.

실험 결과

연구 질문

• RQ1 실수 손실 함수를 고려할 때, 복소수 특이분해(SVD)에 대한 정확한 역방향 자동미분 공식은 무엇인가?
• RQ2 실수 변수의 복소수 함수에 대한 비해석적 성질로 인해 복소수 SVD의 기울기는 실수 SVD와 어떻게 다를까?
• RQ3 게이지 불변성이 복소수 SVD의 기울기 유도에서 어떤 역할을 하는가? 기울기 표현의 형태를 어떻게 제약하는가?
• RQ4 왜 항 $\frac{1}{2} U S^{-1} (\boldsymbol{L}^\top - \boldsymbol{L}) V^\top$ 는 필수적이고 실수 SVD에는 존재하지 않으며, 그 존재의 수학적 또는 물리적 원리는 무엇인가?
• RQ5 실제로 새로운 기울기 항이 활성화되고 정확히 계산되도록 보장하기 위해 어떻게 유효한 테스트 손실 함수를 구성할 수 있는가?

주요 결과

• 논문은 복소수 특이분해(SVD)에 대한 완전한 역방향 자동미분 공식을 유도하며, 주요 혁신은 복소해석적 구조로 인해 발생하는 새로운 기울기 항 $\bar{\boldsymbol{A}}_d = \frac{1}{2} U S^{-1} (\boldsymbol{L}^\top - \boldsymbol{L}) V^\top$ 의 식별이다.
• 이 새로운 항은 실수 SVD에는 존재하지 않으며, 손실 함수가 $U$ 및 $V$ 행렬에 게이지 비트리비얼 방식으로 의존할 경우 기울기 계산을 정확히 하기 위해 필수적이다.
• 유도 과정에서 기울기가 위상 게이지 변환에 대해 불변임을 보이며, 기울기 표현의 일관성은 보조 행렬 $\bar{U}^T U + \bar{V}^T V - \text{c.c.}$ 에 대한 게이지 불변성 조건을 통해 강제된다.
• 직사각형 행렬로의 일반화는 제곱 케이스에 비해 추가로 두 개의 항을 더함으로써 가능하며, 이는 SVD 부분공간의 비직교 보완을 반영한다.
• 손실 함수가 $U$ 또는 $V$ 중 하나에만 의존할 경우 항 $\bar{\boldsymbol{A}}_d$ 는 사라지며, 이는 새로운 항이 활성화되기 위해서는 둘 다에 대한 동시 의존성이 필요함을 강조한다.
• 유도된 공식은 복소수 텐서 네트워크에서 정확하고 효율적인 역전파를 가능하게 하며, 양자 many-body 물리학 및 복소수 모델을 활용한 기울기 가능 기계학습 응용을 지원한다.