[논문 리뷰] Coordinate Descent Face-Off: Primal or Dual?

Dominik Csiba, Peter Richtárik|arXiv (Cornell University)|2016. 05. 29.

Stochastic Gradient Optimization Techniques참고 문헌 6인용 수 8

한 줄 요약

이 논문은 L2-정규화된 경험적 위험 최소화를 위한 원본 및 이중 랜덤 좌표 하강법(RCD)에 대한 엄밀한 이론적 및 실험적 비교를 제공하며, 데이터 구조—특히 희소성과 특징 분포—가 기존의 통념을 뒤집을 수 있음을 보여준다. 원본 RCD가 n ≫ d일 때조차도 이중 RCD를 능가할 수 있고, 그 반대의 경우도 마찬가지로 성립할 수 있다. 놀랍게도, 한 가지 샘플링 전략이 반복 횟수와 전체 계산 복잡도를 동시에 최소화한다.

ABSTRACT

Randomized coordinate descent (RCD) methods are state-of-the-art algorithms for training linear predictors via minimizing regularized empirical risk. When the number of examples ($n$) is much larger than the number of features ($d$), a common strategy is to apply RCD to the dual problem. On the other hand, when the number of features is much larger than the number of examples, it makes sense to apply RCD directly to the primal problem. In this paper we provide the first joint study of these two approaches when applied to L2-regularized ERM. First, we show through a rigorous analysis that for dense data, the above intuition is precisely correct. However, we find that for sparse and structured data, primal RCD can significantly outperform dual RCD even if $d \ll n$, and vice versa, dual RCD can be much faster than primal RCD even if $n \ll d$. Moreover, we show that, surprisingly, a single sampling strategy minimizes both the (bound on the) number of iterations and the overall expected complexity of RCD. Note that the latter complexity measure also takes into account the average cost of the iterations, which depends on the structure and sparsity of the data, and on the sampling strategy employed. We confirm our theoretical predictions using extensive experiments with both synthetic and real data sets.

연구 동기 및 목표

• L2-정규화된 경험적 위험 최소화에서 다양한 데이터 환경에서 원본 RCD와 이중 RCD 중 어느 것이 열등한지 오랫동안 남아있던 문제를 해결하기 위해.
• n ≫ d일 때 원본 RCD가 더 좋고, d ≫ n일 때 이중 RCD가 더 낫다는 기존의 통념이 희소성 또는 구조적 데이터에서 성립하는지 도전하기 위해.
• 반복 횟수와 전체 기대 계산 복잡도를 동시에 최소화하는 통합된 샘플링 전략을 규명하기 위해.
• 데이터 구조(희소성, 특징 분포)와 원본 및 이중 RCD의 상대적 성능 간의 관계를 연결하는 이론적 프레임워크를 제공하기 위해.
• 합성 및 실제 데이터 세트(뉴스, 백혈병 데이터 포함)를 활용한 광범위한 실험을 통해 이론적 예측을 검증하기 위해.

제안 방법

• 손실 함수의 미끄러움과 볼록성 가정을 바탕으로 L2-정규화된 경험적 위험 최소화의 원본 및 이중 공식화에 대한 RCD 수렴 속도의 이론적 분석을 수행하였다.
• 데이터 행렬의 구조, 특히 X와 X^T의 스펙트럼 성질에 따라 의존하는 수렴 경계 유도를 통해 성능 격차를 결정하는 단일 양상을 도출하였다.
• 희소성과 반복당 계산 비용을 고려하여 반복 횟수와 전체 기대 복잡도를 동시에 최적화하는 통합 샘플링 전략을 도입하였다.
• 제어된 희소성(%)을 가진 합성 데이터와 실제 데이터 세트(뉴스, 백혈병)를 사용하여 이론적 예측을 검증하는 실험적 평가를 수행하였다.
• X의 비제로 요소를 통과하는 횟수를 기반으로 한 런타임 비교를 수행하였으며, 수렴 속도 평가를 위해 반복 횟수에 따른 오차 추적을 실시하였다.
• 이론적 경계에 기반한 최악의 경우 행렬 구성법을 사용하여 복잡도에 대한 강건성과 유도된 성능 지표의 타당성을 검증하였다.

실험 결과

연구 질문

• RQ1 n ≫ d일 때 원본 RCD가 더 좋고, d ≫ n일 때 이중 RCD가 더 낫다는 기존의 통념이 희소성 또는 구조적 데이터 유형에서도 성립하는가?
• RQ2 다른 반복당 비용이 존재함에도 불구하고, 한 가지 샘플링 전략이 반복 횟수와 전체 기대 계산 복잡도를 동시에 최소화할 수 있는가?
• RQ3 데이터의 희소성과 특징 분포(예: 비균형적인 비제로 패턴)는 원본 RCD와 이중 RCD의 상대적 성능에 어떤 영향을 미치는가?
• RQ4 이론적 수렴 경계가 비균일한 희소성을 가지는 실제 데이터 세트의 실험적 성능와 얼마나 잘 일치하는가?
• RQ5 데이터 행렬과 그 전치행렬에서 유도된 단일 구조적 양을 사용하여 원본 RCD와 이중 RCD 간의 이론적 성능 격차를 정량화할 수 있는가?

주요 결과

• 밀도가 높은 데이터의 경우, 기존의 통념이 그대로 성립한다: n ≫ d일 때 원본 RCD가 이중 RCD를 능가하고, d ≫ n일 때는 이중 RCD가 원본 RCD를 능가한다.
• 희소성과 구조적 데이터의 경우, n ≫ d이어도 원본 RCD가 이중 RCD를 크게 능가할 수 있고, d ≫ n이어도 이중 RCD가 원본 RCD보다 훨씬 빠를 수 있다.
• 원본 RCD와 이중 RCD의 성능은 데이터 행렬과 그 전치행렬과 관련된 단일 구조적 양에 의해 결정되며, 이는 희소성과 특징 분포의 상호작용을 포괄한다.
• 희소성과 반복당 비용의 다양성에도 불구하고, 한 가지 샘플링 전략이 반복 횟수의 경계와 전체 기대 복잡도를 동시에 최소화한다.
• 뉴스 데이터 세트(d ≫ n, 밀도 0.03%)에 대한 실험 결과는 비균형적인 특징 희소성으로 인해 이중 RCD가 더 빠르며, 이는 이론적 예측과 일치한다.
• 백혈병 데이터 세트(d ≫ n, 100% 밀도)에서는 원본 RCD가 더 빠르며, 런타임 비율 T_P / T_D ≈ 0.5를 기록하여, 밀도가 높은 환경에서 원본 접근법의 이론적 우수성을 확인한다.