[논문 리뷰] Expanded Alternating Optimization of Nonconvex Functions with Applications to Matrix Factorization and Penalized Regression

William J. Murdoch, Mu Zhu|arXiv (Cornell University)|2014. 12. 12.

Sparse and Compressive Sensing Techniques참고 문헌 12인용 수 3

한 줄 요약

이 논문은 표준 교대 최적화(standard alternating optimization, AO) 이후 문제에 특화된 새로운 부분공간에서 추가 탐색을 수행함으로써 행렬 분해와 페널라이즈드 회귀에서 비볼록 최적화를 향상시키기 위한 확장된 교대 최적화(EAO) 프레임워크를 제안한다. 이 방법은 데이터 구조에 맞게 맞춤화될 경우 특히 수렴 성능과 해의 품질을 크게 향상시키며, 실제 및 시뮬레이션 데이터셋을 대상으로 MC+ 및 SparseNet 페널라이즈드를 사용하여 성능 향상이 입증되었다.

ABSTRACT

We propose a general technique for improving alternating optimization (AO) of nonconvex functions. Starting from the solution given by AO, we conduct another sequence of searches over subspaces that are both meaningful to the optimization problem at hand and different from those used by AO. To demonstrate the utility of our approach, we apply it to the matrix factorization (MF) algorithm for recommender systems and the coordinate descent algorithm for penalized regression (PR), and show meaningful improvements using both real-world (for MF) and simulated (for PR) data sets. Moreover, we demonstrate for MF that, by constructing search spaces customized to the given data set, we can significantly increase the convergence rate of our technique.

연구 동기 및 목표

• 비볼록 문제에서 표준 교대 최적화(AO)의 한계를 해결하기 위해, 종종 열악한 국소 최솟값이나 안장점에 수렴하는 문제를 해결한다.
• 추천 시스템을 위한 행렬 분해에서 표준 AO 업데이트를 초월하는 부분공간을 탐색함으로써 해의 품질과 수렴 속도를 향상시킨다.
• 특히 고차원 설정에서 비볼록 페널라이즈드(예: MC+)를 사용한 페널라이즈드 회귀에서 좌표 강하 성능을 향상시킨다.
• AO의 원래 블록과는 다름없는 문제에 의미 있는 대체 탐색 방향을 체계적으로 탐색하는 방법을 개발한다.
• 데이터 특성에 맞게 탐색 부분공간을 맞춤화하면 EAO의 수렴 속도가 크게 향상되고 최종 목표 함수 값이 향상됨을 입증한다.

제안 방법

• 확장된 교대 최적화(EAO)를 제안한다: 표준 AO가 수렴한 후, AO에서 사용되지 않은 문제에 특화된 새로운 부분공간에서 두 번째 단계의 최적화를 수행한다.
• 문제의 구조적 특성에 기반하여 새로운 부분공간을 정의한다 — 예를 들어, 행렬 분해에서는 저랭크 구조, 회귀에서는 흩어진 패턴을 기반으로 한다.
• 행렬 분해의 경우, 현재 AO 해 방향과 수직인 사용자 또는 항목 잠재 벡터로 정의된 부분공간에서 탐색한다.
• MC+ 페널라이즈드를 사용한 페널라이즈드 회귀의 경우, 계수의 활성 집합과 부호 패턴에 기반한 부분공간을 탐색하며, 일차 조건의 조각별 선형 해를 활용한다.
• 사례 기반 전략을 사용하여 최적의 변수 업데이트를 구한다: βj의 다양한 부호 및 크기 범주에 해당하는 여러 (ψ, ξ) 쌍을 테스트하고 일관성 없는 해를 기각한다.
• 비판적 임계값(예: γλ)에 의해 정의된 각 구간에서 v에 대한 선형 방정식을 풀어 후보 해를 구하고, 목표 함수를 최소화하는 해를 선택한다.

실험 결과

연구 질문

• RQ1 표준 교대 최적화를 초월하는 탐색 공간 확장을 통해 비볼록 행렬 분해에서 수렴성과 해 품질을 향상시킬 수 있는가?
• RQ2 MC+와 같은 비볼록 페널라이즈드를 사용한 페널라이즈드 회귀에서 EAO의 성능은 표준 AO 및 좌표 강하와 비교해 어떻게 되는가?
• RQ3 데이터 특성에 맞게 탐색 부분공간을 맞춤화하면 EAO의 수렴 속도가 얼마나 빨라지는가?
• RQ4 부호 및 크기 범주에 기반한 다수의 해 분기 탐색이 최종 목표 함수 값에 어떤 영향을 미치는가?
• RQ5 EAO는 표준 AO가 갇히는 열악한 국소 최솟값이나 안장점에서 일관되게 벗어날 수 있는가?

주요 결과

• 실제 추천 시스템 데이터에서 EAO는 표준 AO 및 좌표 강하보다 목표 함수 값을 크게 향상시킨다.
• MC+ 페널라이즈드를 사용한 페널라이즈드 회귀에서 EAO는 특히 고차원 설정에서 표준 좌표 강하보다 더 우수한 해 품질을 달성한다.
• 탐색 부분공간을 데이터(예: 흩어진 구조 또는 저랭크 구조)에 맞게 맞춤화할 경우, 일반적인 구현보다 EAO의 수렴 속도가 훨씬 빨라진다.
• 문제에 의미 있는 대체 부분공간을 탐색함으로써 EAO는 열악한 국소 최솟값을 성공적으로 벗어나며, 다양한 실제 및 시뮬레이션 데이터셋에서 일관된 향상이 관찰된다.
• MC+ 페널라이즈드에 대한 조각별 선형 해 전략은 βj의 다양한 범주에서 후보 해를 정확하고 효율적으로 계산할 수 있게 한다.
• 일관된 해가 여러 개 존재할 수 있으며, 이 방법은 목표 함수를 최소화하는 해를 선택함으로써 표준 AO보다 향상된 수렴을 보장한다.