[논문 리뷰] Coresets for Near-Convex Functions

Murad Tukan, Alaa Maalouf외 1명|arXiv (Cornell University)|2020. 06. 09.

Sparse and Compressive Sensing Techniques참고 문헌 41인용 수 7

한 줄 요약

이 논문은 함수 SVD를 일반화한 f-SVD 분해를 사용하여 근사 볼록 함수에 대한 코어셋을 구성하는 일반적인 프레임워크를 제안한다. 이는 감도 기반 코어셋 구성과 증명 가능하고 근사 가능한 보장을 가능하게 한다. 주요 기여는 SVM, 로지스틱 회귀, ℓz-회귀와 같은 다양한 문제에 대해 입력 크기와 무관하고 차원 및 정확도 파라미터에 다항식적으로 의존하는 작은 코어셋을 생성하는 통합된 접근법을 제공한다는 점이다.

ABSTRACT

Coreset is usually a small weighted subset of $n$ input points in $\mathbb{R}^d$, that provably approximates their loss function for a given set of queries (models, classifiers, etc.). Coresets become increasingly common in machine learning since existing heuristics or inefficient algorithms may be improved by running them possibly many times on the small coreset that can be maintained for streaming distributed data. Coresets can be obtained by sensitivity (importance) sampling, where its size is proportional to the total sum of sensitivities. Unfortunately, computing the sensitivity of each point is problem dependent and may be harder to compute than the original optimization problem at hand. We suggest a generic framework for computing sensitivities (and thus coresets) for wide family of loss functions which we call near-convex functions. This is by suggesting the $f$-SVD factorization that generalizes the SVD factorization of matrices to functions. Example applications include coresets that are either new or significantly improves previous results, such as SVM, Logistic regression, M-estimators, and $\ell_z$-regression. Experimental results and open source are also provided.

연구 동기 및 목표

• 광범위한 손실 함수 클래스에 대해 감도를 계산하고 코어셋을 구성할 수 있는 일반적이고 문제에 종속되지 않는 프레임워크를 개발하는 것.
• 기존 코어셋 방법에서 감도 계산의 높은 계산 비용을 해결하기 위해 통합된 분해 방법을 도입하는 것.
• SVM, 로지스틱 회귀, M-추정기와 같은 기계학습 문제에 대해 크기가 입력 크기에 의존하지 않고 차원과 정확도 파라미터에 다항식적으로 의존하는 작은, 증명 가능하게 정확한 코어셋을 제공하는 것.
• 근사 볼록 함수의 구조적 특성을 활용하여 코어셋 크기의 입력 크기 의존도를 줄이는 것.
• 다양한 학습 문제에 적용 가능한 통합된 방법을 제공하여 이전의 문제별 특화된 코어셋 구성 방식을 초월하는 것.

제안 방법

• 함수에 대한 일반화된 행렬 SVD인 f-SVD 분해를 도입하여 손실 함수를 구조화된 형태로 표현하는 것.
• 비선형 손실의 선형 표현을 가능하게 하기 위해 입력 점을 p ↦ [||p||², 2p, 1]로 변환하여 고차원 공간으로 매핑하는 것.
• 변환된 공간에서 선형 함수형에 의한 감도 분석을 가능하게 하기 위해 이중 손실 함수 g_ℓ₂(p', x') = |p'ᵀx'|를 정의하는 것.
• 이중 공간과 차원성에 기반하여 변환된 점들의 총 감도를 유계로 제한하여 ℓ₂-손실의 경우 t ≤ (d+2)^1.5 를 도출하는 것.
• 역확률 가중치를 사용한 감도 샘플링을 적용하여 ε-코어셋을 크기 O((d+2)^2.5 / ε²) × (d log((d+2)^2.5) + log(1/δ)) 로 구성하는 것.
• 로지스틱 회귀 및 SVM 문제를 변환을 통해 ℓ₂-회귀로 환원하여 f-SVD 계산을 효율적으로 수행할 수 있도록 하는 것. 이는 O(nd + poly(d)) 시간 내에 수행 가능.

실험 결과

연구 질문

• RQ1 비볼록 또는 근사 볼록 손실 함수의 광범위한 클래스에 대해 감도를 계산할 수 있는 일반적 프레임워크를 개발할 수 있는가?
• RQ2 통합된 분해 방법을 통해 코어셋 구성에서 감도 계산의 성능 저하 문제를 완화할 수 있는가?
• RQ3 SVM 및 로지스틱 회귀와 같은 문제에 대해 입력 크기에 의존하지 않고 차원과 정확도에 다항식적으로 의존하는 코어셋을 구성할 수 있는가?
• RQ4 f-SVD 분해가 여러 기계학습 문제에 걸쳐 효율적이고 증명 가능한 코어셋 구성에 기여하는가?
• RQ5 기하학적 및 선형 대수적 성질을 활용하여 변환된 점들의 총 감도를 유계로 제한할 수 있는가?

주요 결과

• f-SVD 분해를 통해 비선형 손실을 고차원 공간에서 선형 형태로 변환함으로써 근사 볼록 함수에 대한 감도 기반 코어셋 구성이 가능해진다.
• ℓ₂-손실(예: 최소 제곱 회귀)의 경우 총 감도가 (d+2)^1.5 이하로 유계로 제한되며, 이에 따라 코어셋 크기는 O((d+2)^2.5 / ε²) × (d log((d+2)^2.5) + log(1/δ)) 로 도출된다.
• SVM, 로지스틱 회귀, M-추정기, ℓz-회귀 문제에 대해 기존보다 새로운 또는 크게 향상된 코어셋을 도출할 수 있으며, 이는 모두 ℓ₂-회귀로 환원됨에 따라 가능하다.
• 코어셋이 모든 쿼리에 대해 1±ε 범위 내 손실을 유지할 수 있기 때문에 스트리밍, 분산, 제약 최적화 환경을 지원한다.
• 이론적 분석을 통해 코어셋 구성이 높은 확률 1−δ로 증명 가능하게 정확하며, 크기가 입력 크기에 대해 로그적으로만 의존함을 보여준다.
• f-SVD 계산을 ℓz-회귀로 환원함으로써 효율적인 알고리즘이 가능해지며, 무작위 방법을 사용하여 근선형 시간 내에 코어셋을 구성할 수 있다.