[논문 리뷰] Near-Optimal Algorithms for Online Matrix Prediction

Elad Hazan, Satyen Kale외 1명|arXiv (Cornell University)|2012. 03. 31.

Optimization and Search Problems참고 문헌 2인용 수 39

한 줄 요약

이 논문은 구조적 행렬 예측 문제에 대해 효율적인 온라인 학습 알고리즘과 거의 최적의 리그레트 한계를 제공하는 새로운 행렬 분해 성질인 $(\beta,\tau)$-분해 가능성을 도입한다. 이 성질을 통해 온라인 최대 컷, 도박, 협동 필터링 문제에 대해 $\tilde{O}(\sqrt{\beta\tau T})$ 리그레트를 달성하며, 이러한 설정에서 오랫동안 남아 있던 계산 효율성과 최적성에 관한 열린 문제를 해결한다.

ABSTRACT

In several online prediction problems of recent interest the comparison class is composed of matrices with bounded entries. For example, in the online max-cut problem, the comparison class is matrices which represent cuts of a given graph and in online gambling the comparison class is matrices which represent permutations over n teams. Another important example is online collaborative filtering in which a widely used comparison class is the set of matrices with a small trace norm. In this paper we isolate a property of matrices, which we call (beta,tau)-decomposability, and derive an efficient online learning algorithm, that enjoys a regret bound of O*(sqrt(beta tau T)) for all problems in which the comparison class is composed of (beta,tau)-decomposable matrices. By analyzing the decomposability of cut matrices, triangular matrices, and low trace-norm matrices, we derive near optimal regret bounds for online max-cut, online gambling, and online collaborative filtering. In particular, this resolves (in the affirmative) an open problem posed by Abernethy (2010); Kleinberg et al (2010). Finally, we derive lower bounds for the three problems and show that our upper bounds are optimal up to logarithmic factors. In particular, our lower bound for the online collaborative filtering problem resolves another open problem posed by Shamir and Srebro (2011).

연구 동기 및 목표

• 입력 요소나 낮은 질량의 비교 클래스를 갖는 구조적 행렬 예측 문제에 대해 효율적이고 근사 최적의 온라인 학습 알고리즘이 부족한 문제를 해결한다.
• 이전 알고리즘이나 효율적이지 않거나 최적의 리그레트 보장을 갖지 못했던 온라인 최대 컷과 온라인 도박 문제의 열린 문제를 해결한다.
• 트레이스 노름 제약 조건이 있는 온라인 협동 필터링을 위한 통합 프레임워크를 제공하며, 기저의 오프라인 문제의 NP-난해성에도 불구하고 근사 최적의 리그레트를 달성한다.
• 행렬의 스펙트럼 성질과 효율적인 온라인 학습 간의 연결 고리를 설정하며, 스펙트럼 분석이 링크가 명백하지 않더라도 엄밀한 리그레트 한계를 가능하게 한다는 것을 보여준다.
• 구조적 행렬 예측 문제에서 알려진 상한과 하한 간의 리그레트 갭을 스펙트럼 기반 분해를 통해 근사 최적성을 증명함으로써 좁힌다.

제안 방법

• 행렬의 구조적 성질로 $(\beta,\tau)$-분해 가능성을 정의한다: 행렬 $\mathbf{W}$가 $(\beta,\tau)$-분해 가능하다는 것은 그 대칭화된 형태가 $\mathbf{P} - \mathbf{N}$로 표현될 수 있으며, $\mathbf{P}, \mathbf{N}$이 양의 준정적이고 $\mathrm{Tr}(\mathbf{P}), \mathrm{Tr}(\mathbf{N}) \leq \tau$, 그리고 대각성분이 $\beta$ 이하임을 의미한다.
• 매트릭스 지수 Bregman 발산을 사용한 Follow-The-Regularized-Leader (FTRL) 프레임워크를 적용하여, 임의의 $(\beta,\tau)$-분해 가능 비교 클래스에 대해 $\tilde{O}(\sqrt{\beta\tau T})$ 리그레트 한계를 도출한다.
• 매트릭스 업데이트를 효율적으로 계산하기 위해 이중 최적화 접근법을 사용한다: 각 라운드당 네 개의 제약 조건만을 갖는 저차원 이중 문제를 해결함으로써, 반복당 $\tilde{O}(p^3)$ 시간 복잡도를 달성한다.
• 각 라운드에서 현재 인덱스 쌍 $(i_t, j_t)$에 기반해 활성 제약 조건을 포괄하는 다면체 $\mathcal{K}_t$를 구성하여 최적 해가 그 안에 존재하도록 보장한다.
• Golden-Thompson 부등식을 활용해 매트릭스 지수의 추적을 유한 범위로 제한함으로써, 이중 변수에 대한 유한한 범위를 확보하고, 타원체 방법을 통한 효율적인 볼록 최적화를 가능하게 한다.
• 이 방법을 세 가지 문제에 적용한다: 온라인 최대 컷, 온라인 도박(치환 기반), 협동 필터링(트레이스 노름 제약 조건), 각 문제에 특화된 리그레트 한계를 도출한다.

실험 결과

연구 질문

• RQ1 자르기, 치환, 낮은 질량 행렬과 같은 구조적 비교 클래스를 갖는 온라인 행렬 예측 문제에 대해 통합 프레임워크를 개발할 수 있는가?
• RQ2 이후 오프라인 문제의 NP-난해성에도 불구하고, 온라인 최대 컷과 온라인 도박 문제에서 효율적인 알고리즘으로 근사 최적의 리그레트 한계를 달성할 수 있는가?
• RQ3 트레이스 노름 기반 협동 필터링 문제를 리그레트 한계가 로그 인자에 대해 최적임을 증명하면서 효율적으로 해결할 수 있는가?
• RQ4 이러한 문제에서 효율적인 온라인 학습과 엄밀한 리그레트 보장을 가능하게 하는 행렬의 구조적 성질은 무엇인가?
• RQ5 스펙트럼 기반 분해를 통해, 구조적 행렬 예측 문제에서 알려진 상한과 하한 간의 리그레트 갭을 좁힐 수 있는가?

주요 결과

• 논문은 온라인 최대 컷 문제에 대해 $\tilde{O}(\sqrt{n \log n \, T})$ 리그레트 한계를 확립하였으며, 이는 거의 최적이며 이러한 한계를 달성하는 첫 번째 효율적 알고리즘이다.
• 온라인 도박 문제에 대해 알고리즘이 $\tilde{O}(\sqrt{n \log^3 n \, T})$ 리그레트 한계를 달성하며, Abernethy(2010)와 Kleinberg 등(2010)이 제기한 열린 문제를 해결하고, 오프라인 피드백 아크 세트 문제의 NP-난해성에도 불구하고 문제의 타당성이 있음을 보여준다.
• 트레이스 노름 제약 조건 $\|\mathbf{W}\|_* \leq \tau$를 갖는 온라인 협동 필터링 문제에 대해 알고리즘이 $\tilde{O}(\sqrt{\tau \sqrt{n} \log n \, T})$ 리그레트 한계를 달성하며, 이는 로그 인자에 대해 근사 최적이다.
• 논문은 온라인 협동 필터링에 대해 상한과 일치하는 하한을 증명하며, Shamir와 Srebro(2011)가 제기한 다른 열린 문제를 해결한다.
• $(\beta,\tau)$-분해 가능성 프레임워크가 자르기 행렬, 삼각 행렬, 낮은 트레이스-노름 행렬에 대해 날카로운 것으로 입증되어 그 일반성과 강력함을 확인한다.
• 이 방법은 각 라운드당 네 개의 제약 조건만을 갖는 이중 문제를 통해 효율적인 계산을 가능하게 하며, 로그 반복 수를 갖는 볼록 최적화 기법을 사용해 반복당 $\tilde{O}(p^3)$ 시간 복잡도를 달성한다.