[論文レビュー] Efficient Per-Example Gradient Computations in Convolutional Neural Networks

Gaspar Rochette, Andre Manoel+1 more|arXiv (Cornell University)|Dec 12, 2019

Privacy-Preserving Technologies in Data参考文献 10被引用数 7

ひとこと要約

この論文は、Goodfellowの手法を畳み込み層に拡張した、チェーンルールに基づくアプローチ（crb）を用いて、畳み込みニューラルネットワーク（CNN）における例ごとの勾配を効率的に計算する手法を提案する。crbは、より小さな、浅いネットワークや特定のアーキテクチャ設定において、ナード法やマルチ法よりも速度が優れていることを示しており、例ごとの勾配クリッピングを効率的に行えるため、CNNの微分プライベートトレーニングをより現実的なものにしている。

ABSTRACT

Deep learning frameworks leverage GPUs to perform massively-parallel computations over batches of many training examples efficiently. However, for certain tasks, one may be interested in performing per-example computations, for instance using per-example gradients to evaluate a quantity of interest unique to each example. One notable application comes from the field of differential privacy, where per-example gradients must be norm-bounded in order to limit the impact of each example on the aggregated batch gradient. In this work, we discuss how per-example gradients can be efficiently computed in convolutional neural networks (CNNs). We compare existing strategies by performing a few steps of differentially-private training on CNNs of varying sizes. We also introduce a new strategy for per-example gradient calculation, which is shown to be advantageous depending on the model architecture and how the model is trained. This is a first step in making differentially-private training of CNNs practical.

研究の動機と目的

• 微分プライベートトレーニングに不可欠な、CNNにおける例ごとの勾配を効率的に計算する課題に対処すること。
• 例ごとの勾配計算のための既存戦略（ナード法（バッチサイズ1）、マルチモデル法（複数の同一パラメータモデル）、チェーンルールベース法（crb））を比較すること。
• PyTorchのグループ畳み込み機能を活用して、全結合層に適用可能なGoodfellowの手法を畳み込み層に拡張すること。
• ネットワークの深さ、幅、カーネルサイズ、バッチサイズの変動に応じた性能を実験的に評価すること。
• プライバシー保護型機械学習を支援するための、実用的でGPU最適化された例ごとの勾配計算ソリューションを提供すること。

提案手法

• crb法は、中間活性化および勾配フックを用いてバックプロパゲーションを変更し、チェーンルールを適用して個々の例にわたる勾配計算を分解することで、例ごとの勾配を計算する。
• 各例を畳み込み層内の別々のグループとして扱うことで、PyTorchのグループ畳み込み操作を活用して、例ごとの勾配を効率的に計算する。
• モデルの複製を回避し、前方伝搬を再利用し、例ごとのスケーリングを伴う勾配蓄積を用いて、各例の勾配を計算する。
• PyTorchのnn.Moduleへの拡張として実装されており、既存のトレーニングパイプラインへのシームレスな統合を可能にしている。
• 実行時間とGPUメモリ使用量の観点から、ナード法（バッチサイズ1）とマルチモデル法（例ごとにパラメータ共有の複数モデル）とを比較する。
• カスタムCNNおよび実世界のアーキテクチャ（AlexNet、VGG16）を用いた実験を行い、ネットワークの深さ、チャネル比、カーネルサイズ、バッチサイズを変化させた。

実験結果

リサーチクエスチョン

• RQ1 異なるネットワークアーキテクチャにおいて、ナード法、マルチモデル法、チェーンルールベース法（crb）のうち、例ごとの勾配計算に最も効率的なのはどれか？
• RQ2 深さ、幅、カーネルサイズ、バッチサイズといったアーキテクチャ要因が、例ごとの勾配計算手法の性能にどのように影響するか？
• RQ3 PyTorchのネイティブ操作を用いて、チェーンルールベース法を全結合層から畳み込み層に効果的に拡張できるか？
• RQ4 crb法は、速度およびメモリ効率の観点で、いつマルチモデル法を上回るか？
• RQ5 AlexNet や VGG16 といった現実的なCNNにおいて、モデルの複雑さとバッチサイズの増加に伴い、各手法はどのようにスケーリングするか？

主な発見

• 2〜4層の浅いネットワークでチャネル比が増加する場合、特にカーネルサイズが5に増加すると、crb法はマルチ法よりも高速である。
• ネットワークの深さが増すと、マルチモデル法の性能が向上し、4層ネットワークでは両手法の性能が類似するようになる。
• AlexNet（より小さなネットワーク）では、crb法はナード法の15倍速く、バッチサイズ16で2.03秒（ナード法：3.08秒）とわずかにマルチ法よりも速い。
• VGG16（より大きなネットワーク）では、crb法はわずかにマルチ法より遅く、実行時間は5.59秒（マルチ法：4.63秒）となり、モデルサイズに応じた性能のシフトが示された。
• crb法はバッチサイズに対して分岐線形スケーリングを示しており、大規模バッチサイズでのGPU利用効率が優れていることが示唆される。一方、マルチ法およびナード法は厳密に線形スケーリングを示す。
• パラメータを共有する場合、crb法はマルチ法よりもメモリ効率が良く、両手法とも同程度のGPUメモリを使用するため、大規模トレーニングにおいて実用的である。