[論文レビュー] QR and LQ Decomposition Matrix Backpropagation Algorithms for Square, Wide, and Deep -- Real or Complex -- Matrices and Their Software Implementation

Denisa Roberts, Lucas Roberts|arXiv (Cornell University)|Sep 19, 2020

Sparse and Compressive Sensing Techniques参考文献 20被引用数 6

ひとこと要約

本稿では、任意の形状（正方、横長、縦長）の実数および複素行列に対して、数値的に安定で効率的な勾配計算を可能にする、新しい微分可能QRおよびLQ分解のバックプロパゲーションアルゴリズムを提示する。主な貢献は、パーティショニングテクニックを用いた体系的な導出であり、PyTorch、TensorFlow、MXNetへの完全なソフトウェア統合により、エンドツーエンドのディープラーニングを実現している。

ABSTRACT

This article presents matrix backpropagation algorithms for the QR decomposition of matrices $A_{m, n}$, that are either square (m = n), wide (m < n), or deep (m > n), with rank $k = min(m, n)$. Furthermore, we derive novel matrix backpropagation results for the pivoted (full-rank) QR decomposition and for the LQ decomposition of deep input matrices. Differentiable QR decomposition offers a numerically stable, computationally efficient method to solve least squares problems frequently encountered in machine learning and computer vision. Other use cases such as graph learning and network compression are listed in the article. Software implementation across popular deep learning frameworks (PyTorch, TensorFlow, MXNet) incorporate the methods for general use within the deep learning community. Furthermore, this article aids the practitioner in understanding the matrix backpropagation methodology as part of larger computational graphs.

研究の動機と目的

• すべての行列形状（正方、横長、縦長）に対して完全で微分可能なQRおよびLQ分解バックプロパゲーションを提供することで、ディープラーニングフレームワークにおけるギャップを埋める。
• 深さ、正方、横長の行列におけるQRおよびLQ分解の解析的正しい勾配式を導出する。複素数およびピボット付きの場合を含む。
• 機械学習およびコンピュータビジョン応用分野における安定的かつ効率的な最小二乗法の解法および行列因子分解を可能にする。
• QRおよびLQ分解を含む計算グラフにおけるエンドツーエンドの微分可能計算を可能にする。
• 実数および複素行列を対象とした、PyTorch、TensorFlow、MXNetにおけるオープンソースで生産環境対応の実装を提供する。

提案手法

• R行列をフルランクの部分行列に分割するパーティショニングテクニックを用いて、QR分解の解析的バックプロパゲーション勾配を導出する。
• 同じパーティショニング技術を応用し、縦長行列に対する新しいLQ分解バックプロパゲーションを導出することで、LQ因子化を経由した勾配伝播を可能にする。
• ヘルミート転置を用いた行列微積分およびトレース恒等式を用い、複素行列微分の処理、特に共役項の正しい取り扱いを実施する。
• 不一致を解消する補正項（例：ℒ = iℑ(diag(M))) を導入し、複素行列バックプロパゲーションの導出における正しさを保証する。
• 内部的には標準のLAPACKおよびCuSolverルーチンを用い、ディープラーニングフレームワーク向けに微分可能autogradインタフェースにラップする。
• 中央差分および数値的検証を用いて結果を検証し、すべての行列タイプおよび形状において正しさを保証する。

実験結果

リサーチクエスチョン

• RQ1 すべての行列形状（正方、横長、縦長）の実数および複素行列に対して、QR分解の勾配を解析的にどのように導出できるか？
• RQ2 縦長行列におけるLQ分解バックプロパゲーション勾配の正しい解析的形は何か？ そして、どのように体系的に導出できるか？
• RQ3 ヘルミート転置を含む複素行列バックプロパゲーションにおいて、数値的不安定性や誤りをどのように是正できるか？
• RQ4 パーティショニングテクニックは、ランクが不完全または構造的である行列の勾配導出を簡略化する役割を果たすか？
• RQ5 これらの微分可能な行列因子分解を、PyTorch、TensorFlow、MXNetなどの人気ディープラーニングフレームワークに効率的かつ正確に統合するにはどうすればよいか？

主な発見

• 本稿では、すべての行列形状（正方、横長、縦長）において、実数および複素行列を対象とした、新しい解析的正しいバックプロパゲーション式をQRおよびLQ分解に対して導出している。
• パーティショニングテクニックを用いて、縦長行列に対する新しいLQバックプロパゲーションアルゴリズムを導出し、従来サポートされていなかったケースでの勾配計算を可能にした。
• 複素QRバックプロパゲーションの導出には、以前の定式化における不整合を解消する補正項ℒ = iℑ(diag(M)) が含まれており、正しさを保証している。
• 中央差分を用いた数値的検証により、導出された勾配は多様な行列構成および形状において正確であることが確認された。
• これらの手法は、PyTorch、TensorFlow、MXNetにおいて実際に実装されており、CPUおよびGPU、バッチ処理、すべての行列タイプをサポートしている。
• ソフトウェア統合により、グラフ学習、モデル圧縮、ガウス過程などの応用分野を含む、ディープラーニングパイプラインにおけるエンドツーエンドの微分可能計算が可能になった。