[논문 리뷰] Regularization-free estimation in trace regression with symmetric positive semidefinite matrices

Martin Slawski, Ping Li외 1명|arXiv (Cornell University)|2015. 04. 23.

Sparse and Compressive Sensing Techniques참고 문헌 24인용 수 4

한 줄 요약

이 논문은 대칭 양의 준정의(matrices)에 대한 추적 회귀(trace regression)에 대해 정규화 없이 접근하는 방법을 제안한다. 이는 대칭 양의 준정의(positive semidefinite, spd) 조건 하에 제약을 가한 최소 제곱 추정을 사용한다. 적절한 설계 조건 하에서 이 방법은 핵노름 정규화와 유사한 추정 및 예측 성능을 달성하며, 조정 파rameter가 필요로 하지 않아 구현을 단순화하면서도 낮은 질서(low-rank) 설정에서 통계적 효율성을 유지한다.

ABSTRACT

Over the past few years, trace regression models have received considerable attention in the context of matrix completion, quantum state tomography, and compressed sensing. Estimation of the underlying matrix from regularization-based approaches promoting low-rankedness, notably nuclear norm regularization, have enjoyed great popularity. In the present paper, we argue that such regularization may no longer be necessary if the underlying matrix is symmetric positive semidefinite ( extsf{spd}) and the design satisfies certain conditions. In this situation, simple least squares estimation subject to an extsf{spd} constraint may perform as well as regularization-based approaches with a proper choice of the regularization parameter, which entails knowledge of the noise level and/or tuning. By contrast, constrained least squares estimation comes without any tuning parameter and may hence be preferred due to its simplicity.

연구 동기 및 목표

• 추적 회귀에서 진짜 행렬이 대칭 양의 준정의일 때 정규화가 필요한지 조사한다.
• 핵노름 정규화와 비교하여 대칭 양의 준정의 조건 하의 제약을 가한 최소 제곱 추정의 성능을 평가한다.
• 정규화 없이도 예측 및 매개변수 추정에서 정규화된 방법과 동등하거나 이를 초월할 수 있는 설계 조건을 규명한다.
• 제약을 가한 최소 제곱 추정이 조정 파rameter를 회피하여 실용적 사용성을 향상시킨다는 것을 보여준다.
• 비가환(non-commutative) 설정인 대칭 양의 준정의 행렬 추정으로 비음수 최소 제곱의 통찰을 확장한다.

제안 방법

• 추적 회귀 모델을 $ y_i = \operatorname{tr}(X_i^\top \Sigma^*) + \varepsilon_i $ 로 설정하며, $ \Sigma^* \in \mathbb{S}_+^m $은 대칭 양의 준정의 행렬의 원뿔(cone)을 의미한다.
• 제약을 가한 최소 제곱 추정을 제안한다: $ \min_{\Sigma \in \mathbb{S}_+^m} \frac{1}{2n} \sum_{i=1}^n (y_i - \operatorname{tr}(X_i^\top \Sigma))^2 $, 이는 조정 파ram터가 필요로 하지 않는다.
• 낮은 질서의 대칭 양의 준정의 다양체(manifold)에서 $ \Sigma^* $ 에서의 탄성 공간(tangent space) $ \mathbb{T} $ 를 사용하여 방법을 분석한다: $ \widehat{\Delta} = \widehat{\Delta}_{\mathbb{T}} + \widehat{\Delta}_{\mathbb{T}^\perp} $.
• 설계 행렬이 낮은 질서의 구조와 얼마나 호환되는지 기하학적 양 $ \tau^2(\mathbb{T}) $, $ \phi^2(\mathbb{T}) $, 및 $ \mu(\mathbb{T}) $ 를 도입한다.
• 에러의 $ \ell_1 $-노름 $ \|\widehat{\Delta}\|_1 $ 에 대한 경계를 $ \lambda_0 $, $ \tau^2(\mathbb{T}) $, $ \phi^2(\mathbb{T}) $, 및 $ \mu(\mathbb{T}) $ 를 포함하는 부등식을 사용하여 유도한다.
• 유리한 설계 조건 하에서 오차 경계가 $ O(\lambda_0) $ 로 스케일링되며, 이는 소음과 설계 복잡성과 관련된 $ \lambda_0 $ 에 의해 결정된다.

실험 결과

연구 질문

• RQ1 진짜 행렬이 대칭 양의 준정의일 때 추적 회귀에서 정규화를 피할 수 있는가?
• RQ2 제약을 가한 최소 제곱 추정이 핵노름 정규화 성능을 따라잡는 데 필요한 설계 조건은 무엇인가?
• RQ3 조정 파ram터가 없는 것이 추정기의 실용성과 통계적 효율성에 어떤 영향을 미치는가?
• RQ4 대칭 양의 준정의 원뿔의 기하학적 구조를 활용하여 명시적 정규화 없이 최적의 추정을 달성할 수 있는가?
• RQ5 n < \delta_m = m(m+1)/2 인 고차원 설정에서 제약을 가한 최소 제곱 접근이 일관성을 유지하는가?

주요 결과

• 대칭 양의 준정의 조건 하의 제약을 가한 최소 제곱 추정은 핵노름 정규화와 최적의 조정 파ram터를 사용할 때와 유사한 추정 및 예측 성능을 달성한다.
• 이 방법은 조정 파ram터가 필요로 하지 않아 구현을 단순화하고, 소음 수준이나 질서 추정이 필요로 하지 않는다.
• 유리한 설계 조건 하에서 $ \ell_1 $-노름의 추정 오차는 $ T_1, T_2, $ 또는 $ T_3 $ 로 유계이며, 이들은 모두 $ O(\lambda_0) $ 로 스케일링되며, $ \lambda_0 $ 는 소음과 설계 복잡성을 반영한다.
• 에러 경계 $ \|\widehat{\Delta}\|_1 \leq T_3 = 8\lambda_0 / \tau^2(\mathbb{T}) $ 는 $ \|\widehat{\Delta}_{\mathbb{T}}\|_1 \leq \|\widehat{\Delta}_{\mathbb{T}^\perp}\|_1 $ 일 때 성립하며, 균형 잡힌 오차 구성 요소에 대한 강건성을 보여준다.
• 만약 $ \|\widehat{\Delta}_{\mathbb{T}^\perp}\|_1 \leq 4\lambda_0 / \phi^2(\mathbb{T}) $ 이면, 오차는 $ T_2 = 8\lambda_0 (1 + \mu(\mathbb{T}) / \phi^2(\mathbb{T})) / \phi^2(\mathbb{T}) $ 로 유계이며, 이는 탄성 외 오차가 낮을 경우 성능 향상을 보여준다.
• 가장 악조건 하에서는 오차 경계가 $ T_1 = 8\lambda_0 \mu(\mathbb{T}) / (\tau^2(\mathbb{T}) \phi^2(\mathbb{T})) \cdot (3/2 + \mu(\mathbb{T}) / \phi^2(\mathbb{T})) + 4\lambda_0 (1/\phi^2(\mathbb{T}) + 1/\tau^2(\mathbb{T})) $ 로 유도되며, 이는 합리적인 설계 가정 하에서도 제어 가능하다.