[논문 리뷰] Sketching and Neural Networks

Amit Daniely, Nevena Lazic외 2명|arXiv (Cornell University)|2016. 04. 19.

Machine Learning and Algorithms참고 문헌 24인용 수 3

한 줄 요약

이 논문은 고차원 이진 데이터에서 희박한 다항 함수를 효율적으로 학습하기 위해 컴act한 선형 스케치 기법과 단일층 신경망을 결합한 방법을 제안한다. $O(k\log(d/\delta))$의 작은 스케치 크기를 사용하는 비적합 학습을 통해, 다항식 차수에 대해 지수적 스케치 크기 필요를 보였던 이전 방법들보다 우수한 성능을 보이며, $k$-희박 입력의 $1-\delta$ 비율에 대해 증명 가능하게 정확한 분류를 달성한다.

ABSTRACT

High-dimensional sparse data present computational and statistical challenges for supervised learning. We propose compact linear sketches for reducing the dimensionality of the input, followed by a single layer neural network. We show that any sparse polynomial function can be computed, on nearly all sparse binary vectors, by a single layer neural network that takes a compact sketch of the vector as input. Consequently, when a set of sparse binary vectors is approximately separable using a sparse polynomial, there exists a single-layer neural network that takes a short sketch as input and correctly classifies nearly all the points. Previous work has proposed using sketches to reduce dimensionality while preserving the hypothesis class. However, the sketch size has an exponential dependence on the degree in the case of polynomial classifiers. In stark contrast, our approach of using improper learning, using a larger hypothesis class allows the sketch size to have a logarithmic dependence on the degree. Even in the linear case, our approach allows us to improve on the pesky $O({1}/{γ^2})$ dependence of random projections, on the margin $γ$. We empirically show that our approach leads to more compact neural networks than related methods such as feature hashing at equal or better performance.

연구 동기 및 목표

• 고차원 희박 데이터에서의 지도학습의 계산 및 통계적 과제를 해결하기 위해.
• 모델 크기와 학습 비용을 줄이면서도 희박한 다항 함수의 분류 정확도를 유지하기 위해.
• 신경망을 활용한 비적합 학습을 통해 이전 방법들이 다항식 차수에 대해 지수적 스케치 크기 의존성을 보였던 문제를 해결하기 위해.
• 효율적인 저차원 표현을 가능하게 하는 희박성 유지 스케칭 기법을 설계하기 위해.
• 스케칭과 신경망을 결합한 방법이 특성 해싱 또는 무작위 투영에 비해 더 작은 모델, 더 빠른 속도, 더 높은 정확도를 제공함을 실증적으로 검증하기 위해.

제안 방법

• 크기 $O(k\log(d/\delta))$의 컴 pact한 선형 스케치를 사용하여 $k$-희박 이진 입력의 차원을 감소시킨다.
• ReLU 활성화 함수를 사용하는 단일층 신경망을 활용하여 스케치를 복원하고 임의의 $s$-희박 선형 또는 다항 함수를 계산한다.
• 희박성을 유지하고 효율적인 계산을 가능하게 하기 위해 희박한 스케칭 행렬을 적용한다.
• 더 큰 가설 클래스를 允허함으로써 비적합 학습을 통해 다항식 차수에 대해 로그적 의존성으로 전환함으로써 지수적 의존성을 제거한다.
• Johnson-Lindenstrauss 추정법과 스케칭 이론(예: Count-Min, Count-Sketch)을 활용하여 내적 보존을 보장한다.
• $\ell_1$-노름 정규화와 프록시멀 확률적 경사 하강법을 사용하여 파라미터의 희박성과 더 빠른 학습을 달성한다.

실험 결과

연구 질문

• RQ1 고차원 희박 이진 데이터의 컴 pact한 스케치가 임의의 희박한 다항 함수 계산 능력을 유지할 수 있는가?
• RQ2 스케치를 복원하기 위해 신경망을 사용할 경우 기존의 스케칭 또는 해싱 방법에 비해 모델 크기가 현저히 줄어들 수 있는가?
• RQ3 정확도를 유지하면서도 다항식 차수에 대해 스케치 크기를 로그적 의존성으로 줄일 수 있는가?
• RQ4 스케칭과 신경망을 결합한 방법이 특성 해싱 및 무작위 투영에 비해 모델 크기와 성능 측면에서 어떻게 비교되는가?
• RQ5 제안된 방법이 제한된 레이블 데이터를 가진 실제 데이터셋에서도 일반화 성능을 유지하는가?

주요 결과

• 스케치 크기가 $O(k\log(d/\delta))$일 때, $k$-희박 이진 입력에 대해 $1-\delta$ 비율의 분류 정확도를 달성하며, 이는 이전 방법들보다 크게 작다.
• 다항식 차수 $p$에 대해 스케치 크기가 $p$에 대해 로그적 의존성을 보이며, 이는 이전 접근법에서의 지수적 의존성과 대비된다.
• 실증 결과에 따르면, 신경망을 활용한 스케칭은 특성 해싱 및 가우시안 투영에 비해 비제로 파라미터 수가 적고 정확도가 유사하거나 더 높은 모델을 제공한다.
• 엔티티 유형 태깅 작업에서, 스케칭은 단일 500,000 크기의 해시 함수보다 정확도와 파라미터 효율성 측면에서 뛰어난 성능을 보였다.
• Reuters 및 AG News 데이터셋에서, 첫 번째 레이어의 파라미터 수를 최대 50% 줄여도 스케칭이 비슷하거나 더 높은 성능을 달성했다.
• 여러 개의 스케치 블록($t \geq 2$)은 유사한 모델 크기에서 단일 블록 스케칭보다 일관되게 뛰어난 성능을 보이며, 冗 redundancy와 다양성의 이점이 있음을 시사한다.