[논문 리뷰] Coresets for Classification -- Simplified and Strengthened

Tung Mai, Anup Rao외 1명|arXiv (Cornell University)|2021. 06. 08.

Machine Learning and Algorithms참고 문헌 30인용 수 9

한 줄 요약

이 논문은 선형 분류를 위한 새로운 코어세트 구성법을 제안하며, $\ell_1$ 레이위스 가중치를 이용한 서브샘플링을 통해 $(1\pm\epsilon)$ 상대 오차를 달성하는 데 $\tilde{O}(d \cdot \mu_y(X)^2 / \epsilon^2)$개의 샘플을 사용한다. 이 방법은 이전의 경계를 크게 향상시키며, 레이블에 의존하지 않고 로지스틱 손실과 헤지 손실 모두에 적용 가능하며, 효율적인 액티브 러닝과 다중 작업 학습을 가능하게 한다.

ABSTRACT

We give relative error coresets for training linear classifiers with a broad class of loss functions, including the logistic loss and hinge loss. Our construction achieves $(1\pm ε)$ relative error with $ ilde O(d \cdot μ_y(X)^2/ε^2)$ points, where $μ_y(X)$ is a natural complexity measure of the data matrix $X \in \mathbb{R}^{n imes d}$ and label vector $y \in \{-1,1\}^n$, introduced in by Munteanu et al. 2018. Our result is based on subsampling data points with probabilities proportional to their $\ell_1$ $Lewis$ $weights$. It significantly improves on existing theoretical bounds and performs well in practice, outperforming uniform subsampling along with other importance sampling methods. Our sampling distribution does not depend on the labels, so can be used for active learning. It also does not depend on the specific loss function, so a single coreset can be used in multiple training scenarios.

연구 동기 및 목표

• 로지스틱 손실 및 헤지 손실과 같은 일반적인 분류 손실에 대해 효율적인 상대 오차 코어세트가 부족한 문제를 해결한다.
• 이전 연구를 초월하여 선형 분류에서 코어세트의 이론적 샘플 복잡도 경계를 향상시킨다.
• 레이블 및 손실 함수에 의존하지 않는 샘플링 분포를 개발하여 액티브 러닝과 다중 작업 학습을 지원한다.
• 강력한 이론적 보장과 실증 성능을 동시에 확보한 실용적이고 효율적인 코어세트 구성법을 제공한다.

제안 방법

• 모든 $\beta$에 대해 $\|X\beta\|_1$를 유지하는 것으로 알려진 $\ell_1$ 레이위스 가중치를 데이터 포인트의 샘플링 분포로 사용한다.
• 선택된 포인트의 $\ell_1$ 레이위스 가중치 비례 확률로 $\tilde{O}(d \cdot \mu_y(X)^2 / \epsilon^2)$개의 포인트를 선택하여 코어세트를 구성한다.
• 전체 데이터셋에 대한 손실 함수에 대해 상대 오차 보장을 확보하기 위해 선택된 포인트들을 재가중한다.
• $\ell_1$ 레이위스 가중치가 $\tilde{O}(\operatorname{nnz}(X) + d^\omega)$ 시간 내에 계산 가능하다는 사실을 활용하여 확장성을 확보한다.
• 샘플링 분포가 레이블이나 특정 손실 함수에 의존하지 않도록 하여 다양한 학습 시나리오에서 재사용 가능하게 한다.
• 이론적 분석을 통해 코어세트는 로지스틱 손실 및 헤지 손실을 포함한 '헤지 유사' 손실의 광범위한 클래스에 대해 손실 함수를 $1\pm\epsilon$ 상대 오차 내에서 유지함을 확인한다.

실험 결과

연구 질문

• RQ1 이전 연구에 비해 개선된 샘플 복잡도를 갖는 상대 오차 코어세트를 선형 분류에 대해 구성할 수 있는가?
• RQ2 $\ell_1$ 레이위스 가중치를 샘플링 분포로 사용할 경우, 균일 샘플링 또는 $\ell_2$ 리버리지 스코어 샘플링보다 이론적·실증적 성능이 향상되는가?
• RQ3 코어세트 구성법을 레이블과 손실 함수에 독립적으로 만들 수 있는가? 이는 액티브 러닝과 다중 작업 학습을 지원할 수 있다.
• RQ4 코어세트 크기가 분류 복잡도 측정치 $\mu_y(X)$에 따라 어떻게 변화하는가? 이 의존성은 향상시킬 수 있는가?
• RQ5 $\ell_1$ 레이위스 가중치 샘플링의 실증 성능은 다양한 데이터셋과 손실 함수에서 어떻게 나타나는가?

주요 결과

• 제안된 코어세트는 $(1\pm\epsilon)$ 상대 오차를 $\tilde{O}(d \cdot \mu_y(X)^2 / \epsilon^2)$개의 샘플로 달성하며, [MSSW18]에서 제시한 이전 최고 성능 경계 $\tilde{O}(d^3 \cdot \mu_y(X)^3 / \epsilon^4)$보다 향상되었다.
• 실증 결과에 따르면, $\ell_1$ 레이위스 가중치 샘플링은 KDD 컵 '99 데이터셋에서 균일 샘플링 및 $\ell_2$ 리버리지 스코어 샘플링보다 성능이 뛰어나며, 특히 더 큰 코어세트 크기에서 두드러진다.
• KDD 컵 '99($\mu_y(X) = 35.18$)와 같이 $\mu_y(X)$가 높은 데이터셋에서는 레이위스 가중치와 다른 방법 간의 성능 격차가 가장 두드러진다.
• Covertype($1.86$) 및 Webb Spam($4.39$)처럼 $\mu_y(X)$가 낮은 데이터셋에서는 레이위스 가중치 샘플링이 $\ell_2$ 리버리지 스코어보다 유사하거나 약간 열 劣한 성능을 보인다.
• 이론적 분석을 통해 $\ell_1$ 레이위스 가중치는 양수 입력에 대해 선형 증가하고 음수 입력에 대해 포화되는 특성 덕분에 헤지 유사 손실에 자연스러운 선택임을 확인하였다.
• 샘플링 분포가 레이블 및 손실 함수에 독립적이므로, 하나의 코어세트를 여러 학습 목표 및 액티브 러닝 파이프라인에서 재사용할 수 있다.