[論文レビュー] Simple Stochastic and Online Gradient Descent Algorithms for Pairwise Learning

Zhenhuan Yang, Yunwen Lei+3 more|arXiv (Cornell University)|Nov 23, 2021

Stochastic Gradient Optimization Techniques被引用数 10

ひとこと要約

本稿では、各新しいインスタンスを直前に処理された1つのインスタンスのみとペairedする単純な確率的・オンライン勾配降下法を提案し、勾配計算の複雑さを $Ó(1)$ に抑える。凸および非凸、滑らかでない問題において、最適な $Ó(1/ackslashsqrt{n})$ の一般化バウンドを確立し、固定サイズのバッファリング集合を用いた場合の意味のあるバウンドを得るという未解決の問題を解決する。

ABSTRACT

Pairwise learning refers to learning tasks where the loss function depends on a pair of instances. It instantiates many important machine learning tasks such as bipartite ranking and metric learning. A popular approach to handle streaming data in pairwise learning is an online gradient descent (OGD) algorithm, where one needs to pair the current instance with a buffering set of previous instances with a sufficiently large size and therefore suffers from a scalability issue. In this paper, we propose simple stochastic and online gradient descent methods for pairwise learning. A notable difference from the existing studies is that we only pair the current instance with the previous one in building a gradient direction, which is efficient in both the storage and computational complexity. We develop novel stability results, optimization, and generalization error bounds for both convex and nonconvex as well as both smooth and nonsmooth problems. We introduce novel techniques to decouple the dependency of models and the previous instance in both the optimization and generalization analysis. Our study resolves an open question on developing meaningful generalization bounds for OGD using a buffering set with a very small fixed size. We also extend our algorithms and stability analysis to develop differentially private SGD algorithms for pairwise learning which significantly improves the existing results.

研究の動機と目的

• 既存の手法が過去のインスタンスを多数バッファリングする必要があるため、オンラインペairワイズ学習におけるスケーラビリティの問題に対処すること。
• 固定サイズのバッファリング集合を用いたオンライン勾配降下法における意味のある一般化バウンドを導出するという未解決の問題を解決すること、特にバッファサイズが小さい場合（例：サイズ1）に焦点を当てる。
• 最適化および一般化誤差解析の両方において、現在のモデルと直前のインスタンスとの間の依存関係を分離する新しい安定性および一般化解析技術を開発すること。
• このフレームワークを、プライバシーと精度のトレードオフを改善する微分プライバシー学習に向けた SGD に拡張すること。

提案手法

• 各新しいインスタンスを直前に処理された1つのインスタンスのみとペアリングする単純なオンライン勾配降下法（OGD）および確率的勾配降下法（SGD）を提案し、1回の更新あたりの勾配計算量を $O(1)$ に削減する。
• 現在のモデル反復値と直前のインスタンスとの間の依存関係を分離するための新しいデカップリング技術を導入し、より緊密な安定性および一般化解析を可能にする。
• アルゴリズム的安定性理論を用いて一般化誤差バウンドを導出し、凸および非凸、滑らかでない損失関数の両方において $O(1/\backslashsqrt{n})$ の過剰リスクを示す。
• オンラインからバッチへの変換技術を適用し、オフライン設定における有限標本一般化バウンドを導出する。
• 勾配にノイズを追加することで微分プライバシーを実現し、プライバシーを保ちながらも競争力ある性能を維持するフレームワークを拡張する。
• バッファサイズ $s=1$ の先入先出し（FIFO）バッファリング戦略を採用し、最適な収束性および一般化性を達成することが示された。

実験結果

リサーチクエスチョン

• RQ1 バッファに1つの直前のインスタンスしか保持しない単純なオンライン勾配降下法は、ペアワイズ学習において最適な一般化バウンドを達成できるか？
• RQ2 バッファサイズが固定かつ小さい（例：$s=1$）場合に、$s \to \infty$ を要件としない意味のある一般化バウンドを導出することは可能か？
• RQ3 最適化および一般化誤差解析の両方において、現在のモデルと直前のインスタンスとの間の依存関係をどのようにデカップリングできるか？
• RQ4 提案されたアルゴリズムは、低コストな計算コストを維持しながら、微分プライバシー学習においても競争力ある性能を達成できるか？

主な発見

• 提案された SGD および OGD アルゴリズムは、凸および非凸、滑らかでないペアワイズ学習問題において、最適な $O(1/\backslashsqrt{n})$ の一般化誤差バウンドを達成する。
• 本手法により、[22]における未解決問題が解決され、バッファサイズが固定された $s=1$ であっても意味のある一般化バウンドが確立された。
• 実験結果から、特に $n$ が増加する際、より効率的なサンプリング方式のおかげで、ベースラインの SGD$_{pair}$ よりも高速に収束することが示された。
• ロジスティックリンク関数を用いた非凸設定でも、アルゴリズムは依然として高速に収束し、凸性を超えるロバストネスを示した。
• 微分プライバシー版（アルゴリズム3）は、最先端の DPEGD と比較して競争力ある AUC スコアを達成しており、CPU 実行時間は著しく短縮された。
• diabetes や german のようなデータセットでは、$\epsilon=0.5$ であっても非プライベートベースラインと比較して AUC スコアが1〜2%以内に収まり、DPEGD よりも高速な学習時間を達成した。