[논문 리뷰] Simple Stochastic and Online Gradient Descent Algorithms for Pairwise Learning

Zhenhuan Yang, Yunwen Lei외 3명|arXiv (Cornell University)|2021. 11. 23.

Stochastic Gradient Optimization Techniques인용 수 10

한 줄 요약

이 논문은 쌍별 학습을 위한 단순한 확률적 및 온라인 경사 하강법 알고리즘을 제안하며, 각 새로운 인스턴스는 오직 바로 이전 인스턴스와만 쌍을 이룹니다. 이로 인해 기울기 복잡도가 $Ó(1)$로 유지됩니다. 이 알고리즘은 볼록 및 비볼록, 매끄럽고 매끄럽지 않은 문제 모두에 대해 최적의 $Ó(1/ackslash sqrt{n})$ 일반화 경계를 확립하여, 고정 크기의 버퍼링 집합을 사용할 때 의미 있는 경계를 도출하는 데 있어 열려 있는 질문을 해결합니다.

ABSTRACT

Pairwise learning refers to learning tasks where the loss function depends on a pair of instances. It instantiates many important machine learning tasks such as bipartite ranking and metric learning. A popular approach to handle streaming data in pairwise learning is an online gradient descent (OGD) algorithm, where one needs to pair the current instance with a buffering set of previous instances with a sufficiently large size and therefore suffers from a scalability issue. In this paper, we propose simple stochastic and online gradient descent methods for pairwise learning. A notable difference from the existing studies is that we only pair the current instance with the previous one in building a gradient direction, which is efficient in both the storage and computational complexity. We develop novel stability results, optimization, and generalization error bounds for both convex and nonconvex as well as both smooth and nonsmooth problems. We introduce novel techniques to decouple the dependency of models and the previous instance in both the optimization and generalization analysis. Our study resolves an open question on developing meaningful generalization bounds for OGD using a buffering set with a very small fixed size. We also extend our algorithms and stability analysis to develop differentially private SGD algorithms for pairwise learning which significantly improves the existing results.

연구 동기 및 목표

• 기존 방법이 과거 인스턴스의 큰 집합을 버퍼링이 필요로 하는 온라인 쌍별 학습의 확장성 문제를 해결하기 위해.
• 특히 버퍼 크기가 작을 때(예: 크기 1일 경우) 고정 크기의 버퍼 집합을 사용할 때 온라인 경사 하강법에 대한 의미 있는 일반화 경계를 도출하는 데 있어 열려 있는 질문을 해결하기 위해.
• 최적화 및 일반화 오차 분석에서 현재 모델과 이전 인스턴스 간의 종속성을 분리하는 데 새로운 안정성 및 일반화 분석 기법을 개발하기 위해.
• 프라이버시 보장 기반의 온라인 쌍별 학습에 대해 프라이버시-정확도 트레이드오프를 개선하는 방향으로 프레임워크를 확장하기 위해.

제안 방법

• 각 새로운 인스턴스가 오직 바로 이전 인스턴스와만 쌍을 이루는 단순한 온라인 경사 하강법(OGD) 및 확률적 경사 하강법(SGD) 알고리즘을 제안하여, 업데이트당 기울기 계산을 $O(1)$로 감소시킵니다.
• 현재 모델 반복값과 이전 인스턴스 간의 종속성을 분리하기 위한 새로운 탈의존 기법을 도입하여, 더 날카운 안정성 및 일반화 분석이 가능해집니다.
• 알고리즘 안정성 이론을 사용하여 일반화 오차 경계를 유도하며, 볼록 및 비볼록, 매끄럽고 매끄럽지 않은 손실 함수 모두에 대해 $O(1/\sqrt{n})$ 초과 위험을 보여줍니다.
• 온라인에서 배치로의 변환 기법을 적용하여 오프라인 설정에서의 유한 샘플 일반화 경계를 도출합니다.
• 기울기의 노이즈를 추가하여 프라이버시 보장을 확보하는 방식으로 프라이버시 기반의 확장 기법을 적용하여, 경쟁력 있는 성능 유지를 유지합니다.
• 버퍼 크기 $s=1$인 선입선출(FIFO) 버퍼링 전략을 사용하며, 이는 최적의 수렴과 일반화를 위해 충분함을 입증합니다.

실험 결과

연구 질문

• RQ1 버퍼에 단 하나의 이전 인스턴스만 존재할 경우, 쌍별 학습을 위한 단순한 온라인 경사 하강법 알고리즘이 최적의 일반화 경계를 달성할 수 있는가?
• RQ2 버퍼 크기가 고정되고 작을 경우(예: $s=1$)에 온라인 경사 하강법에 대해 의미 있는 일반화 경계를 유도할 수 있는가? 이는 $s \to \infty$ 가정이 필요로 하지 않는가?
• RQ3 최적화 및 일반화 분석에서 현재 모델과 이전 인스턴스 간의 종속성을 어떻게 분리할 수 있는가? 이를 통해 더 날카운 경계를 도출할 수 있는가?
• RQ4 제안된 알고리즘은 낮은 계산 비용을 유지하면서도 차별적(private) 쌍별 학습에서 경쟁력 있는 성능을 달성할 수 있는가?

주요 결과

• 제안된 SGD 및 OGD 알고리즘은 볼록 및 비볼록, 매끄럽고 매끄럽지 않은 쌍별 학습 문제 모두에 대해 최적의 $O(1/\sqrt{n})$ 일반화 오차 경계를 달성합니다.
• 이 방법은 [22]에서 제기된 열린 질문을 해결하여, 버퍼 집합 크기가 고정되어 $s=1$일 경우에도 의미 있는 일반화 경계를 확립합니다.
• 실험 결과, 특히 $n$이 증가할수록 더 효율적인 샘플링 방식 덕분에 기준선 SGD$_{pair}$보다 빠른 수렴을 보입니다.
• 로지스틱 링크 함수를 사용하는 비볼록 설정에서도 알고리즘이 여전히 신속하게 수렴하여, 볼록성 이외의 상황에서도 강건함을 입증합니다.
• 차별적(private) 버전인 알고리즘 3는 최신 기술인 DPEGD와 비교해도 경쟁 가능한 AUC 성능을 달성하며, CPU 실행 시간이 훨씬 낮습니다.
• diabetes 및 german 등의 데이터셋에서, $\epsilon=0.5$일 경우 비프라이버시 기반 베이스라인과 AUC 점수 차이가 1~2% 이내로 유지되며, DPEGD보다 훨씬 빠른 학습 시간을 기록합니다.