[論文レビュー] Adaptive Network Sparsification via Dependent Variational Beta-Bernoulli Dropout

Juho Lee, Saehoon Kim+4 more|arXiv (Cornell University)|May 28, 2018

Domain Adaptation and Few-Shot Learning参考文献 25被引用数 7

ひとこと要約

本稿では、スパarsity誘導型のベータ・ベルヌーイ事前分布を用いて、入力に依存するドロップアウト率をニューロンごとに学習する、適応的変分ベータ・ベルヌーイドロップアウトを提案する。ニューロンが適応的に汎用的、入力固有の、またはプルーニングされるようになることで、複数のデータセットにおいて一貫した精度向上を伴いながら、よりコンactなモデルを実現し、ベースラインのスパース化手法を上回る性能を発揮する。

ABSTRACT

While variational dropout approaches have been shown to be effective for network sparsification, they are still suboptimal in the sense that they set the dropout rate for each neuron without consideration of the input data. With such input-independent dropout, each neuron is evolved to be generic across inputs, which makes it difficult to sparsify networks without accuracy loss. To overcome this limitation, we propose adaptive variational dropout whose probabilities are drawn from sparsity-inducing beta Bernoulli prior. It allows each neuron to be evolved either to be generic or specific for certain inputs, or dropped altogether. Such input-adaptive sparsity-inducing dropout allows the resulting network to tolerate larger degree of sparsity without losing its expressive power by removing redundancies among features. We validate our dependent variational beta-Bernoulli dropout on multiple public datasets, on which it obtains significantly more compact networks than baseline methods, with consistent accuracy improvements over the base networks.

研究の動機と目的

• 標準的な変分ドロップアウトでは、すべての入力に対して固定で入力に依存しないドロップアウト率が適用されるという制限を解消すること。
• ニューロンが入力コンテキストに応じて、汎用的、入力固有の、またはプルーニングされるよう適応的に動作させることで、スパースネスの効率を向上させること。
• モデルの表現力が保たれるように、入力に適応するスパースネスパターンを学習することで、ネットワークの冗長性を低減すること。
• 構造的でスパースネス誘導型の事前分布を用いることで、精度の低下を伴わず、よりコンパクトなモデルを実現すること。
• 公開ベンチマーク上での評価を通じて、既存のスパース化技術よりも一貫した改善を示すこと。

提案手法

• ドロップアウト率がベータ・ベルヌーイ事前分布から抽出される従属的変分推論フレームワークを採用し、スパースネスを促進する。
• 各ニューロンのドロップアウト確率は、入力特徴に基づいて動的に決定され、入力に適応する動作を可能にする。
• ベータ・ベルヌーイ事前分布は構造的スパースネスパターンを誘導し、ニューロンが活性、入力固有、または完全に除外される状態を許容する。
• 再パラメータライゼーションを用いた勾配推定を効率的に行うために、確率的勾配降下法を用いてエンドツーエンドで学習する。
• 異なる入力タイプにおいて、冗長な特徴の自動同定と削除が可能になる。
• ニューロン固有の入力依存のプルーニング方針を学習することで、表現力とスパースネスのバランスを図る。

実験結果

リサーチクエスチョン

• RQ1 入力に適応するドロップアウト率は、精度を維持したままネットワークスパースネスを改善できるか？
• RQ2 従来の変分ドロップアウトと比較して、従属的ベータ・ベルヌーイ事前分布はより効果的なニューロンプルーニングを可能にするか？
• RQ3 入力固有のパターンに適応することで、高いスパースネス下でも表現力を維持できるか？
• RQ4 モデルサイズと精度の観点から、提案手法はベースラインのスパース化技術を上回るか？
• RQ5 入力に適応するスパースネスを用いることで、性能の低下を伴わず、どの程度特徴の冗長性を削除できるか？

主な発見

• 提案手法は、複数の公開データセットにおいて、ベースライン手法と比較して顕著にコンパクトなネットワークを実現した。
• 高いスパースネスレベル下でも、ベースネットワークと同等またはそれ以上の精度を維持・向上させた。
• 入力コンテキストに応じてニューロンが適応的に特化またはプルーニングされることで、特徴の冗長性が低減した。
• 従属的ベータ・ベルヌーイ事前分布の使用により、標準的な変分ドロップアウトよりもより効果的なスパースネス誘導が達成された。
• モデル効率性と精度のトレードオフという観点から、既存のスパース化技術を一貫して上回った。
• 多様なデータセットにおいても安定した性能を示し、入力に適応するスパースネスの有効性を確認した。