[論文レビュー] Stochastic Shared Embeddings: Data-driven Regularization of Embedding Layers

Liwei Wu, Shuqing Li+2 more|arXiv (Cornell University)|Jan 1, 2019

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本論文では、勾配降下法（SGD）の学習中に共有埋め込みを確率的に切り替えることで、ニューラルネットワークの埋め込み層に対するデータ駆動型正則化手法であるStochastic Shared Embeddings（SSE）を提案する。重み減衰やドロップアウトと組み合わせることで、推薦システムからBERTに至る多様なタスクにおいて過学習を軽減し、一般化性能を向上させる。理論的保証と6つのベンチマークにおける実証的検証を兼ね備えている。

ABSTRACT

In deep neural nets, lower level embedding layers account for a large portion of the total number of parameters. Tikhonov regularization, graph-based regularization, and hard parameter sharing are approaches that introduce explicit biases into training in a hope to reduce statistical complexity. Alternatively, we propose stochastically shared embeddings (SSE), a data-driven approach to regularizing embedding layers, which stochastically transitions between embeddings during stochastic gradient descent (SGD). Because SSE integrates seamlessly with existing SGD algorithms, it can be used with only minor modifications when training large scale neural networks. We develop two versions of SSE: SSE-Graph using knowledge graphs of embeddings; SSE-SE using no prior information. We provide theoretical guarantees for our method and show its empirical effectiveness on 6 distinct tasks, from simple neural networks with one hidden layer in recommender systems, to the transformer and BERT in natural languages. We find that when used along with widely-used regularization methods such as weight decay and dropout, our proposed SSE can further reduce overfitting, which often leads to more favorable generalization results.

研究の動機と目的

• 多くのパラメータを有する大きな埋め込み層が原因で生じる高い統計的複雑性と過学習リスクを軽減するため。
• 強いインダクティブバイアスや事前の構造的仮定に依存せずに、モデルの複雑さを低減する正則化手法を開発するため。
• 標準的なSGD学習と既存の正則化手法（重み減衰やドロップアウトなど）とシームレスに統合できる手法を構築するため。
• 変換器やBERTを含む多様なアーキテクチャとタスクにおいて、SSEの有効性を実証的に検証するため。

提案手法

• SSEは、SGDの学習中に、各埋め込みベクトルが異なる入力トークンやカテゴリ間で動的に共有されるように、確率的な遷移を導入する。
• SSE-Graphは、外部の知識グラフを活用して、埋め込み間の意味的または構造的関係をガイドとして、確率的共有プロセスを制御する。
• SSE-SEは事前の知識を必要とせず、データから直接確率的スイッチングメカニズムを通じて共有表現を学習する。
• 本手法は、標準的なSGDと互換性があり、アーキテクチャや学習パイプラインの変更を最小限に抑えるように設計されている。
• 理論的分析により、確率的共有による正則化効果を裏付ける一般化バウンドが得られている。
• 最適化の過程で動的共有を実施することで、モデルの容量を維持しつつ、有効パラメータ数を削減する。

実験結果

リサーチクエスチョン

• RQ1 埋め込み層におけるデータ駆動型かつ確率的な共有メカニズムは、深層ニューラルネットワークにおける過学習を軽減し、一般化性能を向上させることができるか？
• RQ2 重み減衰やドロップアウトといった従来の正則化手法と組み合わせた場合、SSEはそれらと比べてどのように性能を発揮するか？
• RQ3 SSE-Graphでは知識グラフを活用するが、これによりSSE-SE（データ駆動型共有のみ）と比較して性能が向上するか？
• RQ4 SSEは、フィードフォワードネットワークから変換器、BERTに至る多様なアーキテクチャにおいて、どの程度一般化性能を向上させるか？

主な発見

• SSEは、重み減衰やドロップアウトといった標準的な正則化手法と併用することで、過学習を軽減し、一般化性能を向上させる。
• 本手法は、1層の隠れ層を持つ単純なネットワークからBERTのような複雑なモデルに至る6つの異なるタスクにおいて、良好な一般化性能を達成する。
• 外部の意味的関係が利用可能なタスクでは、知識グラフを活用するSSE-Graphが、データ駆動型共有に依存するSSE-SEよりも優れた性能を示す。
• 理論的分析により、SSEが埋め込み層の有効な統計的複雑性を低減することで、一般化保証を提供することが確認された。
• SSEは標準的なSGDとスムーズに統合され、既存の学習パイプラインへの変更を最小限に抑えられる。
• 実証的結果により、テスト性能が一貫して向上することが示され、確率的共有が埋め込み層の正則化に効果的であることが裏付けられた。