[論文レビュー] Approximating Orthogonal Matrices with Effective Givens Factorization

Thomas Frerix, Joan Bruna|arXiv (Cornell University)|May 14, 2019

Matrix Theory and Algorithms参考文献 13被引用数 7

ひとこと要約

本稿では、2次元部分空間での作用をもつGivens回転の最小数でユニタリ行列を近似するため、直交群上でのスパarsity誘導最適化手法を提案する。多様体座標勾配降下法を用い、L1に類似したポテンシャル関数を導入することで、グラフ・フーリエ変換のような構造的行列において、O(d log d)要因で効果的な因子分解が達成され、いくつかの実世界のグラフにおいてベースライン手法を著しく上回る性能を発揮する。

ABSTRACT

We analyze effective approximation of unitary matrices. In our formulation, a unitary matrix is represented as a product of rotations in two-dimensional subspaces, so-called Givens rotations. Instead of the quadratic dimension dependence when applying a dense matrix, applying such an approximation scales with the number factors, each of which can be implemented efficiently. Consequently, in settings where an approximation is once computed and then applied many times, such a representation becomes advantageous. Although effective Givens factorization is not possible for generic unitary operators, we show that minimizing a sparsity-inducing objective with a coordinate descent algorithm on the unitary group yields good factorizations for structured matrices. Canonical applications of such a setup are orthogonal basis transforms. We demonstrate numerical results of approximating the graph Fourier transform, which is the matrix obtained when diagonalizing a graph Laplacian.

研究の動機と目的

• 繰り返し適用される際に計算コストを低減する効率的な直交行列近似手法の開発を目的とする。
• 局所的2次元回転であるGivens回転の数を減らしてユニタリ作用素を近似する課題に取り組む。
• グラフラプラシアンから生じるような構造的行列が、二次未満の複雑さで効果的なGivens因子分解を許容するかを検討する。
• スパarsity促進最適化フレームワークを用いて、グラフ・フーリエ変換に対する従来のグリーディ法やヤコビ法を改善することを目的とする。

提案手法

• Givens因子分解問題を、ユニタリ行列上でのスパarsity誘導ポテンシャル関数 f(U) = ||U||₁ を最小化する最適化問題として定式化する。
• ユニタリ群上での勾配フローを定義し、目的行列 U から最も近い符号付き置換行列（群の最もスパースな要素）への経路を生成する。
• Givens回転を生成子として用いた座標勾配降下法を適用し、この経路を近似的に追跡する。
• NP困難な組み合わせ的選択問題を、多様体最適化とL1型正則化を活用することで緩和する。
• 性能比較のため、グリーディベースラインとビームサーチ変種を用い、L1アルゴリズムがいくつかの実世界のグラフで優れた結果を示す。
• 合成されたプラント因子行列と実世界のグラフラプラシアンの両方で手法を検証し、対称Frobeniusノルムを用いて近似誤差を測定する。

実験結果

リサーチクエスチョン

• RQ1 一般のユニタリ行列が Ω(d²/log d) 要因を必要とするのに対し、構造的直交行列は O(d log d) のGivens回転で効果的に近似可能か？
• RQ2 直交群上でのL1に類似したポテンシャルの最小化が、グラフ・フーリエ変換においてグリーディ法やヤコビ法よりも優れたGivens因子分解をもたらすか？
• RQ3 目的行列のスパarsityと、低ランクGivens近似を探索する座標勾配降下法の成功確率との関係は何か？
• RQ4 どの種のグラフや行列に対して、スパarsity誘導手法が、切断ヤコビ法やグリーディ選択といった従来手法を上回るか？
• RQ5 時間変動する作用素、例えば最適化における変化するヘッシアンに対して、動的Givens因子分解を維持することで、提案手法を拡張可能か？

主な発見

• 提案されたL1ベースの座標勾配降下法は、ミニサスキー、ヒューマンプロテイン、EMailの各グラフにおいて、グリーディベースラインを上回り、対称Frobeniusノルムにおける近似誤差が低くなる。
• Barabási-Albert グラフ（約0.25n(n−1)/2本の辺）において、n=512およびn=2014ではL1法がグリーディベースラインを上回るが、n=1024では一部のケースでグリーディ法が優れる場合がある。
• 実世界のグラフにおいて、n log₂(n) 個の要因を用いた場合、L1アルゴリズムはミニサスキー（2642頂点）、ヒューマンプロテイン（3133）、EMail（1133）ネットワークで最小の近似誤差を達成する。
• 本手法は、O(d log d) のGivens要因でグラフ・フーリエ変換を効果的に近似でき、構造的行列がスパース行列の範囲を超えて効率的に因子分解可能であることを示している。
• 理論的分析により、一般のユニタリ行列は効果的な近似に Ω(d²/log d) 個のGivens要因を必要とすることが示され、構造の有効性が効率的因子分解を可能にする重要性が浮き彫りになる。
• L1アルゴリズムへのビームサーチ拡張は、わずかな計算コスト増加で性能を向上させ、探索空間におけるさらなる最適化の余地があることを示唆している。