[논문 리뷰] Faster PAC Learning and Smaller Coresets via Smoothed Analysis

Alaa Maalouf, Ibrahim Jubran외 2명|arXiv (Cornell University)|2020. 06. 09.

Machine Learning and Algorithms참고 문헌 33인용 수 5

한 줄 요약

이 논문은 평균 오차를 쿼리 간에 근사하는 데 중점을 두어 기존의 최악의 경우 오차에 초점을 맞춘 것과는 달리, 더 빠른 PAC 학습과 더 작은 코어셋을 위한 새로운 프레임워크를 제안한다. 스무딩 분석과 결정적 알고리즘을 활용하여, 입력 크기 n에 관계없이 크기가 고정된 코어셋과 ε-샘플을 얻으며, 스트리밍 벡터 요약 및 k-PCA와 같은 응용 분야에서 런타임과 이론적 보장을 향상시킨다.

ABSTRACT

PAC-learning usually aims to compute a small subset ($\varepsilon$-sample/net) from $n$ items, that provably approximates a given loss function for every query (model, classifier, hypothesis) from a given set of queries, up to an additive error $\varepsilon\in(0,1)$. Coresets generalize this idea to support multiplicative error $1\pm\varepsilon$. Inspired by smoothed analysis, we suggest a natural generalization: approximate the \emph{average} (instead of the worst-case) error over the queries, in the hope of getting smaller subsets. The dependency between errors of different queries implies that we may no longer apply the Chernoff-Hoeffding inequality for a fixed query, and then use the VC-dimension or union bound. This paper provides deterministic and randomized algorithms for computing such coresets and $\varepsilon$-samples of size independent of $n$, for any finite set of queries and loss function. Example applications include new and improved coreset constructions for e.g. streaming vector summarization [ICML'17] and $k$-PCA [NIPS'16]. Experimental results with open source code are provided.

연구 동기 및 목표

• 기존의 PAC 학습과 코어셋 구성 방식이 최악의 경우 오차 기준에만 초점을 맞추며 일반적으로 큰 부분집합을 필요로 하는 한계를 해결한다.
• 스무딩 분석을 활용해 최악의 경우 오차에서 평균 오차 근사로 초점을 전환하여 코어셋과 ε-샘플의 크기를 줄인다.
• 입력 크기 n에 관계없이 크기가 고정된 코어셋과 ε-샘플을 생성하는 결정적 및 랜덤 알고리즘을 개발한다.
• 스트리밍 벡터 요약 및 k-PCA와 같은 핵심 응용 분야에서 런타임 효율성과 이론적 경계를 향상시킨다.
• 다양한 쿼리 공간과 손실 함수에 적용 가능한 일반적인 프레임워크를 제공하며, 특히 회귀 및 차원 축소에 사용되는 함수들 포함

제안 방법

• 최악의 경우 오차가 아닌 쿼리 간 평균 오차를 근사하는 스무딩 분석 프레임워크를 도입한다.
• 볼록 조합과 벡터 정규화에 기반한 결정적 알고리즘을 사용해 오차가 제한된 코어셋을 구성한다.
• 반복적 정밀도 향상 과정에서 프랭크-울프 스타일 최적화를 활용해 수렴 속도를 향상시키고 코어셋 크기를 줄인다.
• 스무딩 분석을 적용해 최악의 경우 쿼리 행동에 대한 의존도를 완화함으로써, 오차 보장을 유지하면서도 더 작은 부분집합을 가능하게 한다.
• ℓ₂ 및 ℓ₁ 노름 부등식을 통해 오차 경계를 보장하기 위해 벡터 정규화와 가중치 합 근사 기법을 사용한다.
• 알고리즘 1 및 2와 함께 정리 5.1 및 6.1을 통합하여, n에 독립적인 코어셋 크기 경계를 도출하며, 런타임은 O(nd/ε²) 및 O(nd + d·log²(n)/ε⁴)로 계산된다.

실험 결과

연구 질문

• RQ1 최악의 경우 오차가 아닌 평균 오차에 초점을 맞춤으로써, n에 독립적인 크기의 코어셋과 ε-샘플을 구성할 수 있는가?
• RQ2 스무딩 분 析를 어떻게 활용해 코어셋 구성과 부분집합 크기 감소를 개선하면서도 이론적 오차 보장을 유지할 수 있는가?
• RQ3 PAC 학습에서 최악의 경우와 평균 오차 근사 간의 이론적 및 알고리즘적 트레이드오프는 무엇인가?
• RQ4 스무딩 분 析의 맥락에서 결정적 알고리즘이 랜덤 알고리즘보다 더 작은 코어셋 크기를 달성할 수 있는가?
• RQ5 제안된 프레임워크는 스트리밍 벡터 요약 및 k-PCA와 같은 실제 문제에 얼마나 광범위하게 적용될 수 있는가?

주요 결과

• 제안된 프레임워크는 n에 독립적인 크기의 ε-샘플과 코어셋을 구성하며, 기존의 최악의 경우 접근 방식보다 향상된 이론적 경계를 달성한다.
• k-PCA의 경우, O(1/ε²)개의 비영 요소를 가진 1-median (2ε)-코어셋을 도출하여 부분집합 크기를 크게 줄였다.
• ε-샘플의 경우 O(nd/ε²) 시간, 1-median 코어셋의 경우 O(nd + d·log²(n)/ε⁴) 시간으로 실행되어 확장 가능한 계산이 가능하다.
• 이론적 분석을 통해 손실의 가중치 합 근사 오차가 ε 이내로 제한됨을 증명하였으며, ℓ₂ 및 ℓ₁ 노름 부등식을 통해 엄밀한 경계를 도출하였다.
• 오픈소스 코드를 활용한 실험 결과는 스트리밍 벡터 요약 및 k-PCA에서 이론적 주장의 타당성을 검증하며 성능 향상을 입증하였다.
• 손실 함수를 적절히 변환함으로써, 이 프레임워크는 회귀 및 커널 방법에 사용되는 함수를 포함한 다양한 손실 함수와 쿼리 공간으로 일반화 가능하다.