[논문 리뷰] A Randomized Mirror Descent Algorithm for Large Scale Multiple Kernel Learning

Arash Afkanpour, András György외 2명|arXiv (Cornell University)|2012. 05. 01.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

이 논문은 중요도 표본 추출을 사용하여 저분산 기울기 추정치를 구성함으로써 O(log d / ε²)의 계산 복잡도를 달성하는 대규모 다중 커널 학습(MKL)을 위한 랜덤화 미러 강하 알고리즘을 제안한다. 이 방법은 기울기 크기 비례로 좌표를 표본 추출함으로써 기하급수적으로 큰 커널 집합—특히 다항식 커널—에 대한 효율적인 최적화를 가능하게 하며, d에 대한 로그적 의존성과 함께 최신 기법들보다 스케일성과 속도에서 뛰어나다.

ABSTRACT

We consider the problem of simultaneously learning to linearly combine a very large number of kernels and learn a good predictor based on the learnt kernel. When the number of kernels $d$ to be combined is very large, multiple kernel learning methods whose computational cost scales linearly in $d$ are intractable. We propose a randomized version of the mirror descent algorithm to overcome this issue, under the objective of minimizing the group $p$-norm penalized empirical risk. The key to achieve the required exponential speed-up is the computationally efficient construction of low-variance estimates of the gradient. We propose importance sampling based estimates, and find that the ideal distribution samples a coordinate with a probability proportional to the magnitude of the corresponding gradient. We show the surprising result that in the case of learning the coefficients of a polynomial kernel, the combinatorial structure of the base kernels to be combined allows the implementation of sampling from this distribution to run in $O(\log(d))$ time, making the total computational cost of the method to achieve an $ε$-optimal solution to be $O(\log(d)/ε^2)$, thereby allowing our method to operate for very large values of $d$. Experiments with simulated and real data confirm that the new algorithm is computationally more efficient than its state-of-the-art alternatives.

연구 동기 및 목표

• 기저 커널 수 d가 매우 클 경우, 특히 조합 구조를 가진 공간에서 다중 커널 학습(MKL)의 계산 비가역성 문제를 해결하기 위해.
• 기울기 추정의 분산을 제어하는 랜덤화 좌표 강하를 사용하여 MKL 알고리즘의 반복당 비용을 O(d)에서 O(1)으로 감소시키기 위해.
• 기울기 크기가 큰 좌표를 우선순위로 삼음으로써 기울기 분산을 최소화하는 좌표 업데이트의 표본 추출 전략을 설계하기 위해.
• 다항식 커널과 같은 특정 커널 가족에 대해, 그 조합적 구조를 활용하여 계산 복잡도에서 d에 대한 로그적 의존성을 달성하기 위해.
• d, ε, 커널 구조에 대한 명시적 의존성을 가진 이론적 수렴 보장을 제공함으로써 매우 큰 d에 대한 스케일성 확보하기 위해.

제안 방법

• 이 방법은 좌표 갱신을 사용하는 랜덤화 미러 강하 프레임워크를 활용하며, 각 반복에서 i번째 커널 가중치에 대한 기울기 |∇ᵢL|의 크기에 비례하여 커널 인덱스 i를 선택한다.
• 제안 분포가 기울기 성분의 절대값에 비례하도록 중요도 표본 추출을 사용하여 저분산 기울기 추정치를 구성한다.
• 다항식 커널 가족의 경우, 단항식의 계층적 구조를 활용하여 최적의 중요도 분포에서 O(log d) 시간 내에 표본을 추출할 수 있다.
• 그룹 p-노름 정규화된 경험 위험을 최소화하며, 이 정규화 항은 커널 조합의 희박성과 안정성을 증진시킨다.
• 수렴 분석 결과, ε-최적해에 도달하기 위한 총 반복 수는 d에 독립적인 O(log d / ε²)로 스케일링됨을 보여준다.
• 이론적 기반으로 라그랑주 이중성과 이중 분해를 사용하여 이중 목표 함수의 기울기를 유도함으로써 효율적인 갱신 규칙을 도출한다.

실험 결과

연구 질문

• RQ1 랜덤화 미러 강하 알고리즘이 대규모 다중 커널 학습에서 d에 대해 비선형 의존성을 가지는 계산 복잡도를 달성할 수 있는가?
• RQ2 d가 클 경우, 반복당 비용이 O(1)이면서 저분산 기울기 추정치를 구성할 수 있는가?
• RQ3 조합 구조를 가진 커널 공간에서 기울기 추정의 최적 중요도 표본 추출 분포를 효율적으로 구현할 수 있는가?
• RQ4 이 방법이 다항식 커널 학습에서 O(log d / ε²) 복잡도를 달성하여 기하급수적으로 큰 d에 대해 스케일 가능성이 있는가?
• RQ5 실제로 최신 기법들과 비교했을 때, 수렴 속도와 해의 품질 측면에서 제안된 알고리즘이 어떻게 성능을 내는가?

주요 결과

• 제안된 알고리즘은 ε-최적해에 도달하기 위해 O(log d / ε²)의 계산 복잡도를 달성하며, 이는 d에 대해 로그적 의존성으로, 매우 큰 커널 집합에서도 실현 가능하다.
• 다항식 커널 가족의 경우, 단항식의 계층적 구조 덕분에 최적의 중요도 표본 추출 분포를 O(log d) 시간 내에 구현할 수 있다.
• 기울기 추정기의 분산은 커널에 대한 사전 가중치에 의해 제어되며, 유리한 조건에서는 d에 독립적으로 유지될 수 있다.
• 시뮬레이션 및 실제 데이터 실험을 통해 기존 최신 기법들보다 알고리즘이 훨씬 더 계산적으로 효율적임을 확인하였다.
• d가 클 경우, 적응형 표본 추출 덕분에 고정 분포를 사용하는 랜덤화 방법(Nesterov, 2010 등)보다 수렴 속도가 빠르게 성능을 냈다.
• 이론적 분석을 통해 ε와 d에 대한 명시적 의존성을 가진 수렴 보장을 유지함을 확인하였으며, 이러한 경계가 없는 기법들과는 대조된다.