[논문 리뷰] Simple and practical algorithms for $\ell_p$-norm low-rank approximation

Anastasios Kyrillidis|arXiv (Cornell University)|2018. 05. 24.

Sparse and Compressive Sensing Techniques참고 문헌 41인용 수 5

한 줄 요약

이 논문은 알려진 또는 추정 가능한 문제 파rameter 하에서 (1+ε)-OPT 근사 보장을 달성하는 간단하고 기울기 기반의 비볼록 알고리즘을 제안한다. 이 알고리즘은 ℓ₁ 및 ℓ∞ 노름의 저질서 행렬 근사에 적용되며, 기존의 최상위 수준의 방법들보다 해의 품질과 속도에서 뛰어난 성능을 보인다. 다만, 초파rameter가 없는 것은 아니다.

ABSTRACT

We propose practical algorithms for entrywise $\ell_p$-norm low-rank approximation, for $p = 1$ or $p = \infty$. The proposed framework, which is non-convex and gradient-based, is easy to implement and typically attains better approximations, faster, than state of the art. From a theoretical standpoint, we show that the proposed scheme can attain $(1 + \varepsilon)$-OPT approximations. Our algorithms are not hyperparameter-free: they achieve the desiderata only assuming algorithm's hyperparameters are known a priori---or are at least approximable. I.e., our theory indicates what problem quantities need to be known, in order to get a good solution within polynomial time, and does not contradict to recent inapproximabilty results, as in [46].

연구 동기 및 목표

• ℓ₂(Frobenius) 노름보다 더 강건한 표준이 아닌 ℓₚ-노름 저질서 행렬 근사에 대해 실용적이고 효율적인 알고리즘을 개발하는 것.
• 정확한 ℓ₁ 및 ℓ∞-노름 저질서 행렬 근사가 알려진 복잡도 가정 하에 NP-난이도 또는 근사 불가능하다는 점을 다루는 것.
• 핵심 문제 파rameter(예: 질서, 조건수)가 알려져 있거나 추정 가능할 경우, 다항시간 복잡도 내에서 고품질의 근사(최적에 가까운)를 달성하는 방법을 설계하는 것.
• 이론적 보장과 실용적 성능를 균형 잡은 프레임워크를 제공하여, 기존의 증명 가능 및 히우리스틱 방법들과의 경험적 평가에서 뛰어난 성능을 보이는 것.

제안 방법

• 이 방법은 p ∈ {1, ∞}에 대해 오차 행렬 M - UVᵀ의 엔트리 기반 ℓₚ-노름을 최소화하기 위해 비볼록이고 기울기 기반 최적화 프레임워크를 사용한다.
• ℓ₁ 및 ℓ∞ 노름의 미분 불가능성을 다루기 위해 볼록 최적화에서 유래한 스무딩 기법을 활용하여 기울기 계산을 가능하게 한다.
• 알고리즘은 U와 V에 대한 교차 최적화를 사용하며, 적응형 스텝 크기를 가진 기울기 하강 단계로 요소를 갱신한다.
• 이론적 분석은 핵심 문제 파arameter(예: 질서, 조건수)가 알려져 있거나 추정 가능할 경우, 다항시간 내에 (1+ε)-OPT 근사를 달성할 수 있음을 보여준다.
• 이 방법은 구현이 용이하고 확장 가능하도록 설계되었으며, 이전의 증명 가능한 방법에서 사용하는 복잡한 스케칭 또는 무작위 투영을 피한다.
• 초파rameter가 없는 것은 아니다: 성능은 목표 질서 r 및 M의 스펙트럼 성질을 알고 있거나 추정할 수 있을 때에 의존한다.

실험 결과

연구 질문

• RQ1 간단하고 기울기 기반의 비볼록 알고리즘이 ℓ₁ 및 ℓ∞-노름 저질서 행렬 근사에 대해 (1+ε)-OPT 근사를 달성할 수 있는가?
• RQ2 근사 가능한 근사해에 다항시간 수렴을 보장하기 위해 어떤 문제 특화 파arameter가 알려져 있거나 추정되어야 하는가?
• RQ3 실제로 최신의 증명 가능 및 히우리스틱 알고리즘과 비교했을 때, 제안된 방법의 해 품질과 런타임은 어떻게 되는가?
• RQ4 특히 강건하거나 양자화된 환경에서 SVD나 기존 히우리스틱보다 더 낮은 근사 오차를 달성할 수 있는가?

주요 결과

• 핵심 문제 파arameter가 알려져 있거나 추정 가능할 경우, 제안된 알고리즘이 ℓ₁ 및 ℓ∞-노름 저질서 행렬 근사에 대해 (1+ε)-OPT 근사를 달성한다.
• 실험 결과, 알고리즘은 해 품질 면에서 최신 기술을 초월하며, 평균 런타임이 더 높음에도 불구하고 ℓ∞-노름 근사에서 [17]보다 낮은 중앙값 목표값을 달성한다.
• ℓ₁-노름 근사의 경우, 목표값 면에서 [9] 및 [46]보다 더 낮은 근사 오차를 기록했으며, 대규모 행렬에서 상당히 더 빠른 런타임을 보였다.
• 목표값 면에서는 SVD와 경쟁 가능했지만, 런타임은 SVD보다 느렸다. 그러나 ℓ∞-노름 문제에서 중앙값 오차는 항상 [17]보다 낮게 유지되었다.
• 알고리즘은 초파arameter가 없는 것은 아니며, 이론적 보장은 질서 및 행렬 조건수와 같은 파arameter의 사전 지식 또는 추정 가능성에 의존한다.
• 모든 런에서 최소 목표값을 확보하지 못했지만, 알고리즘은 일반적으로 뛰어난 성능를 보였으며, ℓ∞-노름 작업에서 중앙값 오차가 항상 [17]보다 낮게 유지되었다.