[논문 리뷰] Distributed Learning with Random Features.

Jian Li, Yong Liu외 1명|arXiv (Cornell University)|2019. 06. 07.

Sparse and Compressive Sensing Techniques참고 문헌 37인용 수 6

한 줄 요약

이 논문은 계산 비용을 줄이고 최적의 일반화 성능를 달성하기 위해 무작위 특징을 사용하는 분산 커널 리지 회귀 프레임워크를 제안한다. 표준 가정 하에, 𝒪(√N)개의 파artition과 𝒪(√N)개의 무작위 특징을 사용할 경우, 이 방법은 𝒪(1/N)의 학습 속도를 달성함을 보여주며, 최적의 정확도를 유지하면서 대규모 비모수적 학습에 대해 효율적으로 확장 가능하다.

ABSTRACT

Distributed learning and random projections are the most common techniques in large scale nonparametric statistical learning. In this paper, we study the generalization properties of kernel ridge regression using both distributed methods and random features. Theoretical analysis shows the combination remarkably reduces computational cost while preserving the optimal generalization accuracy under standard assumptions. In a benign case, $\mathcal{O}(\sqrt{N})$ partitions and $\mathcal{O}(\sqrt{N})$ random features are sufficient to achieve $\mathcal{O}(1/N)$ learning rate, where $N$ is the labeled sample size. Further, we derive more refined results by using additional unlabeled data to enlarge the number of partitions and by generating features in a data-dependent way to reduce the number of random features.

연구 동기 및 목표

• 무작위 특징으로 향상된 분산 커널 리지 회귀의 일반화 성능를 분석하는 것.
• 대규모 비모수적 학습에서 최적의 일반화 정확도를 유지하면서 계산 비용을 줄이는 것.
• 비라벨 데이터와 데이터에 의존하는 특징 생성 방식이 효율성 향상과 특징 요구량 감소에 어떻게 기여하는지 조사하는 것.
• 최적 수렴을 위한 파artition 수와 무작위 특징 수에 대한 이론적 경계를 설정하는 것.

제안 방법

• 이 방법은 데이터를 여러 대의 컴퓨터에 분할하는 분산 학습과 커널 계산 비용을 줄이는 데 사용되는 무작위 특징 근사화를 결합한다.
• 커널 행렬을 근사하기 위해 무작위 특징을 사용하여 일반화 성능를 희생시키지 않은 채 확장 가능한 계산을 가능하게 한다.
• 표준 가정 하에 일반화 오차 경계를 이론적으로 유도하며, 𝒪(√N)개의 파artition과 𝒪(√N)개의 무작위 특징이 𝒪(1/N)의 학습 속도를 확보하는 데 충분함을 보여준다.
• 추가 전략으로는 비라벨 데이터를 활용해 파artition 수를 늘리고, 데이터에 의존하는 방식으로 특징을 생성하여 필요한 무작위 특징 수를 줄이는 것이다.
• 이론적 보장 하에 파artition과 특징 근사화를 균형 있게 유지함으로써 최적의 일반화 정확도를 유지한다.

실험 결과

연구 질문

• RQ1 분산 커널 리지 회귀에서 최적의 일반화를 달성하기 위해 필요한 최소 파artition 수와 무작위 특징 수는 얼마인가?
• RQ2 비라벨 데이터를 통합할 경우, 무작위 특징을 사용한 분산 학습의 확장성과 효율성은 어떻게 영향을 받는가?
• RQ3 데이터에 의존하는 특징 생성 방식은 일반화 정확도를 유지하면서 필요한 무작위 특징 수를 줄일 수 있는가?
• RQ4 이 분산 프레임워크에서 계산 비용과 학습 속도 사이의 상호 작용을 규명하는 이론적 경계는 무엇인가?

주요 결과

• 𝒪(√N)개의 파artition과 𝒪(√N)개의 무작위 특징을 사용할 경우, 방법은 𝒪(1/N)의 학습 속도를 달성하며, 표준 가정 하에 최적의 속도를 유지한다.
• 분산 학습과 무작위 특징의 조합은 최적의 일반화 정확도를 유지하면서 계산 비용을 크게 줄인다.
• 비라벨 데이터를 활용하면 파artition 수를 늘릴 수 있어 성능 저하 없이 확장성을 향상시킨다.
• 데이터에 의존하는 특징 생성은 필요한 무작위 특징 수를 줄여 학습 과정의 효율성을 향상시킨다.