[論文レビュー] Differentiable Pooling for Hierarchical Feature Learning

Matthew D. Zeiler, Rob Fergus|arXiv (Cornell University)|Jun 30, 2012

Generative Adversarial Networks and Image Synthesis参考文献 24被引用数 9

ひとこと要約

本論文は、特徴マップとプーリングパラメータ（平均および分散）をグローバルな目的関数内で同時に最適化できる、学習可能なガウス分布パrameter化に基づく微分可能プーリングを導入する。これにより、階層的モデルにおけるエンド・ツー・エンド学習が可能になる。畳み込みデコンボリューションネットワークに適用したところ、明示的な位置情報符号化により空間情報を保持し、非負性制約および特徴再設定による特徴品質の向上を実現することで、MNIST分類誤差を0.84%まで低減した。

ABSTRACT

We introduce a parametric form of pooling, based on a Gaussian, which can be optimized alongside the features in a single global objective function. By contrast, existing pooling schemes are based on heuristics (e.g. local maximum) and have no clear link to the cost function of the model. Furthermore, the variables of the Gaussian explicitly store location information, distinct from the appearance captured by the features, thus providing a what/where decomposition of the input signal. Although the differentiable pooling scheme can be incorporated in a wide range of hierarchical models, we demonstrate it in the context of a Deconvolutional Network model (Zeiler et al. ICCV 2011). We also explore a number of secondary issues within this model and present detailed experiments on MNIST digits.

研究の動機と目的

• 微分不可能で、グローバル目的関数に対して最適化されないヒューリスティックなプーリング手法（例：マックスプーリングや和プーリング）の制限を解消すること。
• プーリングパラメータを微分可能かつ学習可能にすることで、ディープ階層モデルの全層にわたる同時学習と推論を可能にすること。
• ガウスプーリングパラメータを用いて、「何を」（特徴の外観）と「どこに」（空間的位置）を明示的に分離すること。
• 非負性制約、適応的スパarsity、特徴マップのリセットを用いて、ディープモデルにおける特徴品質と一般化性能の向上を図ること。
• MNISTデータセットにおいて、デコンボリューションネットワークフレームワーク上での微分可能プーリングの有効性を示すこと。

提案手法

• ガウスカーネルに基づく微分可能プーリングレイヤーを提案。各プーリング領域は、学習可能な平均（空間的位置）と分散（広がり）でパラメータ化され、勾配ベース最適化が可能になる。
• デコンボリューションネットワークアーキテクチャにガウスプーリングを統合。特徴はアンプーリングと畳み込みにより再構成され、プーリングパラメータは特徴マップと同時に最適化される。
• 再構成誤差（L2ノルム）とスパarsity正則化（ℓpノルム、0.5 ≤ α ≤ 1）を組み合わせたグローバル目的関数を用い、プーリングパラメータは射影勾配降下法により最適化される。
• 各特徴マップ要素ごとに学習可能な重みベクトル w(i) を用いたアンプーリングを採用。ℓ2ノルムが1に制約され、逆変換可能かつ微分可能な再構成が可能になる。
• 非負性制約を射影勾配降下法により適用することで、特徴マップの識別性を向上させ、キャンセル効果を防止する。
• 訓練中に特徴マップのリセット戦略を導入。中盤で活性化値をゼロにリセットすることで、局所最適解からの脱出を促し、フィルタの特化を促進する。

実験結果

リサーチクエスチョン

• RQ1 ディープ階層モデルにおいて、プーリング操作を微分可能にし、特徴学習と同時に最適化可能か？
• RQ2 空間的位置（平均）と特徴外観（活性化）を分離することで、表現学習と分類性能が向上するか？
• RQ3 非負性制約と特徴マップのリセットは、ディープモデルにおける学習済み特徴の品質と収束性にどのように影響するか？
• RQ4 特徴学習における階層的モデルにおいて、訓練時と推論時の最適なスパarsityレベルは何か？
• RQ5 判別的ファインチューニングなしで、微分可能プーリングは非教師ありディープラーニングモデルの性能向上に寄与するか？

主な発見

• 提案手法の微分可能プーリングは、非教師ありデコンボリューションネットワークを用いてMNISTで0.84%のテスト誤差を達成し、多数の生成モデルを上回った。
• 特徴マップに非負性制約を課すことで、ガウスプーリングを用いた場合、MNIST誤差は2.32%から0.84%に低下し、識別性の高い特徴学習が実現された。
• 訓練中に特徴マップをリセットすることで、誤差は1.00%から0.84%に低下し、フィルタの特化と特徴の多様性が向上した。
• 訓練時はℓ0.5スパarsity、推論時はℓ1スパarsityを用いることで最良の性能が得られ、強いスパarsityが訓練には有益だが、推論には不必要であることが示された。
• マックスプーリングに非負性制約を課した場合、誤差は1.25%であったが、同じ制約下でガウスプーリングを用いることで0.84%まで低下し、優れた特徴保持性能を示した。
• 本手法により、全層にわたる同時学習が可能となり、上位層からのフィードバック情報が下位層に影響を及けるようになり、全体の表現品質が向上した。