[論文レビュー] Generalizing MLPs With Dropouts, Batch Normalization, and Skip Connections

Taewoon Kim|arXiv (Cornell University)|Aug 18, 2021

Neural Networks and Applications参考文献 25被引用数 13

ひとこと要約

本論文では、入力のホワイトニングを目的とした独立成分（IC）層を導入した一般化されたMLPアーキテクチャを提案する。バッチ正規化、ドロップアウト、スキップ接続を併用することで、モンテカルロドロップアウトを用いた不確実性推定を実現し、事前学習初期化を用いた年齢・性別分類ベンチマークにおいて、標準的なMLPを上回る収束速度、一般化性能、および不確実性推定性能を達成した。

ABSTRACT

A multilayer perceptron (MLP) is typically made of multiple fully connected layers with nonlinear activation functions. There have been several approaches to make them better (e.g. faster convergence, better convergence limit, etc.). But the researches lack structured ways to test them. We test different MLP architectures by carrying out the experiments on the age and gender datasets. We empirically show that by whitening inputs before every linear layer and adding skip connections, our proposed MLP architecture can result in better performance. Since the whitening process includes dropouts, it can also be used to approximate Bayesian inference. We have open sourced our code, and released models and docker images at https://github.com/tae898/age-gender/

研究の動機と目的

• 標準的なアーキテクチャを超えたMLPの一般化手法が体系的になく、これを是正すること。
• ドロップアウトを併用したIC層による入力ホワイトニングが、学習の安定性、収束速度、最終的な性能向上に寄与するかどうかを調査すること。
• スキップ接続と事前学習重み初期化がMLPの一般化性能に与える影響を評価すること。
• 提案アーキテクチャ内でのモンテカルロドロップアウトを用いた不確実性推定の可能性を検討すること。

提案手法

• 各全結合層の入力に対して、バッチ正規化とドロップアウトを用いてホワイトニングを行う独立成分（IC）層を導入する。
• IC層内でのドロップアウトを用いて特徴の相関を低減し、ニューロン間の相互情報量をp²の要因で削減する。
• 非線形変換の後にスキップ接続を統合し、学習の安定性と勾配の流れを改善する。
• 各IC層の後にReLU活性化関数を適用し、推論時に確率的重みスケーリングを用いてベイジアン推論を近似する。
• IC層、スキップ接続、ドロップアウトを有する・なしのモデルを、ランダム初期化および事前学習重み初期化を用いて学習する。
• 512回の順方向伝搬を実行し、予測のエントロピーを計算することで、モンテカルロドロップアウトを用いてモデルの不確実性を推定する。

実験結果

リサーチクエスチョン

• RQ1 各全結合層の入力にドロップアウトを併用したIC層を組み込むことで、MLPの収束限界と一般化性能が向上するか？
• RQ2 スキップ接続は、IC層を備えたMLPの学習ダイナミクスと最終的性能にどのように影響を与えるか？
• RQ3 提案されたMLPアーキテクチャにドロップアウトを適用することで、モンテカルロドロップアウトを用いた有効な不確実性推定が可能になるか？
• RQ4 IC層とスキップ接続を組み合わせた事前学習重みを用いることで、下流タスクにおける転移性能が向上するか？

主な発見

• 事前学習初期化を用いた8クラスの年齢分類タスクにおいて、IC層とスキップ接続を備えた提案MLPは、検証損失0.0444、精度0.9918という最低の検証損失と最高の精度を達成した。
• IC層とスキップ接続を両方備えたモデルは、すべてのタスクにおいて検証損失の向上が最も一貫しており、特に事前学習初期化下で顕著であった。
• IC層とドロップアウトを備えたモデルは、効果的な不確実性推定を可能にした。Adienceデータセットにおいてレアクラスである乳児・子供の顔では、エントロピー値が最大（約0.6931）を示した。
• アブレーションスタディの結果、IC層またはスキップ接続を削除すると、検証損失がそれぞれ0.1100および0.1311に上昇し、顕著な性能低下が確認された（ランダム初期化下）。
• IC層とスキップ接続を両方備えたモデルは、事前学習重みを用いた8クラスの年齢分類タスクで、テスト損失0.0455、精度0.9913を達成し、すべてのアブレーションバージョンを上回った。
• 著者らは、ドロップアウトを併用したIC層が特徴の相関と相互情報量を効果的に低減し、より良い一般化性能と安定した学習を可能にしたと観察した。