[논문 리뷰] QR and LQ Decomposition Matrix Backpropagation Algorithms for Square, Wide, and Deep -- Real or Complex -- Matrices and Their Software Implementation

Denisa Roberts, Lucas Roberts|arXiv (Cornell University)|2020. 09. 19.

Sparse and Compressive Sensing Techniques참고 문헌 20인용 수 6

한 줄 요약

이 논문은 모든 형태—정방, 넓은, 깊은—의 실수 및 복소수 행렬에 대해 수치적으로 안정적이고 효율적인 기울기 계산을 가능하게 하는 새로운 미분 가능 QR 및 LQ 분해 역전파 알고리즘을 제시한다. 주요 기여는 분할 기법을 사용한 체계적 유도이며, 텐서플로우, 파이토치, MXNet에 대한 완전한 소프트웨어 통합을 통해 엔드 투 엔드 딥 러닝을 지원한다.

ABSTRACT

This article presents matrix backpropagation algorithms for the QR decomposition of matrices $A_{m, n}$, that are either square (m = n), wide (m < n), or deep (m > n), with rank $k = min(m, n)$. Furthermore, we derive novel matrix backpropagation results for the pivoted (full-rank) QR decomposition and for the LQ decomposition of deep input matrices. Differentiable QR decomposition offers a numerically stable, computationally efficient method to solve least squares problems frequently encountered in machine learning and computer vision. Other use cases such as graph learning and network compression are listed in the article. Software implementation across popular deep learning frameworks (PyTorch, TensorFlow, MXNet) incorporate the methods for general use within the deep learning community. Furthermore, this article aids the practitioner in understanding the matrix backpropagation methodology as part of larger computational graphs.

연구 동기 및 목표

• 모든 행렬 형상에 대해 완전하고 미분 가능한 QR 및 LQ 분해 역전파를 제공함으로써 딥 러닝 프레임워크의 격차를 메우기.
• 딥, 정방, 넓은 행렬에 대해 QR 및 LQ 분해의 분석적으로 정확한 기울기 공식을 유도함—복소수 및 펄프된 경우 포함.
• 기계 학습 및 컴퓨터 비전 응용 분야에서 안정적이고 효율적인 최소 제곱법 해법 및 행렬 분해를 가능하게 하기.
• QR 및 LQ 분해를 포함하는 계산 그래프에서 엔드 투 엔드 미분 가능 계산을 지원하기.
• 실수 및 복소수 행렬을 위한 파이토치, 텐서플로우, MXNet에서 오픈소스이자 프로덕션 준비된 구현 제공.

제안 방법

• 전체 질량을 갖는 부분행렬으로 나누는 분할 기법을 사용하여, R 행렬을 부분행렬으로 분할함으로써 QR 분해에 대한 분석적 역전파 기울기를 도출한다.
• 동일한 분할 기법을 적용하여 깊은 행렬에 대한 새로운 LQ 분해 역전파를 도출함으로써 LQ 분해를 통한 기울기 흐름을 가능하게 한다.
• 헤르미트 수반을 사용한 행렬 미적분과 트레이스 항등식을 활용하여 복소수 행렬 도함수를 처리함—특히 공액 항의 정확한 처리 포함.
• 복소수 기울기 유도에서의 모순를 해결하기 위해 보정 항(예: ℒ = iℑ(diag(M)))을 도입함으로써 정확성을 확보한다.
• 기본적으로 표준 LAPACK 및 CuSolver 루틴을 사용하며, 딥 러닝 프레임워크용 미분 가능 autograd 인터페이스로 감싸서 구현한다.
• 중앙 차분법 및 수치적 검증을 통해 모든 행렬 유형과 형상에서의 정확성을 확인함으로써 결과를 검증한다.

실험 결과

연구 질문

• RQ1 모든 행렬 형상—정방, 넓은, 깊은—에 대해 실수 및 복소수 행렬에서 QR 분해의 기울기를 분석적으로 어떻게 도출할 수 있는가?
• RQ2 깊은 행렬에 대해 LQ 분해의 역전파 기울기의 올바른 분석적 형태는 무엇이며, 이를 어떻게 시스템적으로 도출할 수 있는가?
• RQ3 헤르미트 수반의 존재 속에서 복소수 행렬의 역전파에서 발생하는 수치적 불안정성 또는 오류는 어떻게 수정할 수 있는가?
• RQ4 분할 기법이 비전체 질량 또는 구조화된 행렬에 대한 기울기 유도를 단순화하는 데 어떤 역할을 하는가?
• RQ5 이러한 미분 가능한 행렬 분해는 파이토치, 텐서플로우, MXNet과 같은 인기 있는 딥 러닝 프레임워크에 어떻게 효율적이고 정확하게 통합될 수 있는가?

주요 결과

• 논문은 모든 행렬 형상—정방, 넓은, 깊은—에 대해 실수 및 복소수 행렬 모두에 대해 분석적으로 정확한 QR 및 LQ 분해 역전파 공식을 유도한다.
• 분할 기법을 사용하여 깊은 행렬에 대한 새로운 LQ 역전파 알고리즘을 도출함으로써 이전에 지원되지 않았던 경우의 기울기 계산을 가능하게 한다.
• 복소수 QR 역전파 유도에는 이전의 공식에서의 모순를 해결하기 위한 보정 항 ℒ = iℑ(diag(M))이 포함되어 있으며, 이로써 정확성이 보장된다.
• 중앙 차분법을 사용한 수치적 검증을 통해 다양한 행렬 구성 및 형상에서 기울기의 정확성이 확인되었다.
• 이러한 방법들은 성공적으로 구현되었으며 이제 파이토치, 텐서플로우, MXNet에서 내장 기능으로 제공되며, CPU 및 GPU, 배치 처리, 모든 행렬 유형을 지원한다.
• 소프트웨어 통합은 QR 및 LQ 분해를 포함하는 딥 러닝 파이프라인에서 엔드 투 엔드 미분 가능 계산을 가능하게 하며, 그래프 학습, 모델 압축, 가우시안 프로세스 등 응용 분야를 지원한다.