[论文解读] Limitations of Implicit Bias in Matrix Sensing: Initialization Rank Matters

Armin Eftekhari, Konstantinos C. Zygalakis|arXiv (Cornell University)|Aug 27, 2020

Sparse and Compressive Sensing Techniques参考文献 38被引用 4

一句话总结

本文識別出初始化秩是通過梯度流進行矩陣感知時隱式偏差的一個關鍵限制，表明即使初始化範數較大，低秩初始化也能增強對植入低秩矩陣的恢復。本文建立了理論上的捕獲鄰域以實現成功恢復，並提出了一種替代算法，補充了現有的高秩、近零初始化方案。

ABSTRACT

In matrix sensing, we first numerically identify the sensitivity to the initialization rank as a new limitation of the implicit bias of gradient flow. We will partially quantify this phenomenon mathematically, where we establish that the gradient flow of the empirical risk is implicitly biased towards low-rank outcomes and successfully learns the planted low-rank matrix, provided that the initialization is low-rank and within a specific "capture neighborhood". This capture neighborhood is far larger than the corresponding neighborhood in local refinement results; the former contains all models with zero training error whereas the latter is a small neighborhood of a model with zero test error. These new insights enable us to design an alternative algorithm for matrix sensing that complements the high-rank and near-zero initialization scheme which is predominant in the existing literature.

研究动机与目标

• 探討初始化秩如何影響梯度流在矩陣感知中的隱式偏差。
• 識別現有隱式偏差理論的局限性，這些理論假設近零或高秩初始化。
• 理論量化梯度流成功恢復植入低秩矩陣的捕獲鄰域。
• 提出一種新的算法框架，利用低秩初始化改進恢復性能。
• 實證表明，隱式偏差隨初始化範數與秩的增加而減弱，特別是在遠離原點時。

提出的方法

• 在參數化矩陣空間中形式化梯度流動態：$ \dot{U}(t) = -\nabla \| \mathcal{A}(U(t)U(t)^T) - b \|_2^2 $。
• 分析低秩與高秩初始化下梯度流的軌跡，特別關注其與植入低秩矩陣 $ X^\natural $ 的接近程度。
• 定義一個「捕獲鄰域」，即梯度流收斂至 $ X^\natural $ 的區域，並表明其大於局部精化鄰域。
• 利用奇異值分解與Frobenius範數恆等式，推導參數化矩陣之間距離的下界。
• 建立一個關鍵不等式：$ \| UU^T - VV^T \|_F^2 \geq (\max(\sigma_{\min}(U), \sigma_{\min}(V)))^2 \cdot \text{dist}(U, V\mathcal{O}_p)^2 $，將矩陣距離與奇異值及對齊度聯繫起來。
• 利用核範數與正交不變性，將奇異向量的對齊度與恢復誤差關聯起來。

实验结果

研究问题

• RQ1 初始化秩如何影響梯度流在矩陣感知中的隱式偏差？
• RQ2 是否可以量化成功恢復的捕獲鄰域？其與局部精化鄰域相比如何？
• RQ3 當初始化遠離原點或具有高秩時，為何梯度流無法恢復植入的低秩矩陣？
• RQ4 當初始化具有低秩結構時，梯度流可提供哪些理論保證？
• RQ5 能否設計一種新算法，通過利用低秩初始化來改進恢復性能，且獨立於初始化範數？

主要发现

• 初始化秩顯著影響隱式偏差：低秩初始化比高秩初始化對植入低秩矩陣的偏差更強。
• 梯度流成功恢復的捕獲鄰域大於局部精化鄰域，涵蓋所有訓練誤差為零的模型。
• 當初始化遠離原點時，即使為低秩，梯度流仍無法恢復植入矩陣，表明對範數敏感。
• 理論分析表明，$ \| UU^T - VV^T \|_F^2 \geq (\max(\sigma_{\min}(U), \sigma_{\min}(V)))^2 \cdot \text{dist}(U, V\mathcal{O}_p)^2 $，將矩陣距離與奇異值及對齊度聯繫起來。
• 數值實驗確認，測試誤差隨初始化範數與秩的增加而上升，且低秩初始化始終優於高秩對照組。