[논문 리뷰] Generic Coreset for Scalable Learning of Monotonic Kernels: Logistic Regression, Sigmoid and more

Elad Tolochinsky, Jubran, Ibrahim외 1명|arXiv (Cornell University)|2018. 02. 21.

Machine Learning and Algorithms참고 문헌 22인용 수 9

한 줄 요약

이 논문은 로지스틱 회귀 및 시그모이드와 같은 단조성 커널 함수를 위한 일반적인 코어세트 구축 방법을 제안하며, 대규모 또는 스트리밍 데이터에서 확장 가능하고 증명 가능한 정확도를 갖는 학습을 가능하게 한다. 자연스러운 정규화 가정 하에 작은 코어세트가 존재함을 증명하고, O(nd + n log n) 시간에 이를 계산하는 알고리즘을 제공하며, 실험을 통해 이론적 상한보다 실질적으로 훨씬 작은 코어세트가 도출됨을 보여준다.

ABSTRACT

Coreset (or core-set) is a small weighted \emph{subset} $Q$ of an input set $P$ with respect to a given \emph{monotonic} function $f:\mathbb{R} o\mathbb{R}$ that \emph{provably} approximates its fitting loss $\sum_{p\in P}f(p\cdot x)$ to \emph{any} given $x\in\mathbb{R}^d$. Using $Q$ we can obtain approximation of $x^*$ that minimizes this loss, by running \emph{existing} optimization algorithms on $Q$. In this work we provide: (i) A lower bound which proves that there are sets with no coresets smaller than $n=|P|$ for general monotonic loss functions. (ii) A proof that, under a natural assumption that holds e.g. for logistic regression and the sigmoid activation functions, a small coreset exists for \emph{any} input $P$. (iii) A generic coreset construction algorithm that computes such a small coreset $Q$ in $O(nd+n\log n)$ time, and (iv) Experimental results which demonstrate that our coresets are effective and are much smaller in practice than predicted in theory.

연구 동기 및 목표

• 기존 최적화 방법이 비현실적인 대규모, 스트리밍, 분산 데이터 세트에 대한 기계학습 확장 문제를 해결한다.
• 로지스틱 회귀 및 신경망 활성화 함수에서 흔한 단조성 손실 함수의 맥락에서 코어세트에 대한 이론적 보장을 제공한다.
• 일반적인 단조성 함수에 대해 작은 코어세트가 불가능한 것을 극복하기 위해 자연스러운 정규화 가정을 도입한다.
• 다양한 단조성 커널 함수에 적용 가능한 일반적이고 효율적인 코어세트 구축 알고리즘을 개발한다.
• 실증적으로 실제 작업에서 이론적 상한보다 훨씬 작은 코어세트가 도출됨을 보여준다.

제안 방법

• 과적합을 방지하기 위해 일반적으로 사용되는 정규화 항을 손실 함수에 도입하여 작은 코어세트의 존재를 보장한다.
• 이 정규화 하에, 결과로 도출된 질의 공간의 VC차원이 O(d²)로 유계임을 증명함으로써, 에psilon-넷 이론을 통한 코어세트 구축이 가능해진다.
• 단조성 함수의 역함수와 중간값 정리를 활용하여, 모든 x ∈ ℝ^d 에 대해 전체 손실이 (1±ε) 요인 내에서 근사됨을 보장한다.
• 정규화된 손실에서 유도된 민감도 점수를 기반으로 정렬 및 샘플링을 수행함으로써 O(nd + n log n) 시간에 실행되는 코어세트 구축 알고리즘을 설계한다.
• 평균값 정리와 지수 함수의 성질을 활용하여 각 점이 전체 손실에 미치는 민감도를 유계로 제한함으로써 효율적인 샘플링을 가능하게 한다.
• 작은 부분집합에서 정규화된 손실을 최적화하기 위해 코어세트를 활용하며, 이는 전체 데이터 세트에서의 해를 증명 가능하게 근사한다.

실험 결과

연구 질문

• RQ1 추가 가정 없이 일반적인 단조성 손실 함수에 대해 작은 코어세트를 구축할 수 있는가?
• RQ2 로지스틱 회귀 및 시그모이드와 같은 단조성 커널 함수에 대해 작은 코어세트가 존재하는 조건은 무엇인가?
• RQ3 근사 보장을 유지하면서 이러한 코어세트를 구축하는 데 필요한 계산 복잡도는 얼마인가?
• RQ4 이론적 크기와 실제 세계 기계학습 워크로드에서의 실질적 크기 사이의 비교는 어떠한가?
• RQ5 이론적 보장을 유지하면서 스트리밍, 병렬 및 분산 환경에 코어세트 접근법을 적용할 수 있는가?

주요 결과

• 논문은 일반적인 단조성 손실 함수에 대해 n = |P| 보다 작은 코어세트가 존재하지 않음을 보여주는 하한선을 확립하며, 추가 가정 없이 작은 코어세트는 불가능함을 입증한다.
• 자연스러운 정규화 가정 하에, 임의의 입력 집합 P와 임의의 단조성 커널 함수(로지스틱 회귀 및 시그모이드 포함)에 대해 작은 코어세트가 존재함을 증명한다.
• 제안된 코어세트 구축 알고리즘은 O(nd + n log n) 시간에 실행되어 대규모 데이터 세트에 대해 효율적이다.
• 실증 결과는 실제 코어세트 크기가 이론적 상한보다 훨씬 작음을 보여주며, 강력한 실용적 효율성을 시사한다.
• 코어세트 접근법은 모든 x ∈ ℝ^d 에 대해 손실 함수에 대해 (1±ε)-근사 보장을 유지하며, 코어세트에서 정확한 모델 학습이 가능하다.
• 이 방법은 스트리밍, 병렬 및 분산 계산 모델을 지원하여 현대 IoT 및 대용량 데이터 워크로드에 적합하다.