[論文レビュー] Learning Compact Convolutional Neural Networks with Nested Dropout

Chelsea Finn, Lisa Anne Hendricks+1 more|arXiv (Cornell University)|Dec 22, 2014

Generative Adversarial Networks and Image Synthesis参考文献 4被引用数 3

ひとこと要約

この論文では、訓練中に情報量に基づいてフィルタを順序付けすることにより、コンパクトでタスク適応型の畳み込みニューラルネットワークアーキテクチャを自動で学習するためのネストドロップアウトを提案する。幾何分布から値を抽出して、高インデックスのフィルタを段階的にドロップアウトすることで、最小限の訓練イテレーションで最適なフィルタ数（例：conv1では23）を同定する。これにより、パラメータを25%削減しながら、完全なネットワークと同等の精度を達成する。

ABSTRACT

Recently, nested dropout was proposed as a method for ordering representation units in autoencoders by their information content, without diminishing reconstruction cost. However, it has only been applied to training fully-connected autoencoders in an unsupervised setting. We explore the impact of nested dropout on the convolutional layers in a CNN trained by backpropagation, investigating whether nested dropout can provide a simple and systematic way to determine the optimal representation size with respect to the desired accuracy and desired task and data complexity.

研究の動機と目的

• ネストドロップアウトが、従来オートエンコーダでのみ使用されてきたが、バックプロパゲーションで訓練されるCNNの畳み込み層に対しても効果的に適用可能かどうかを調査すること。
• データとタスクの複雑さに基づいて、最適なネットワーク容量を体系的に特定する手法を開発すること。
• 手動でのハイパーパramータチューニングなしに、畳み込み層におけるフィルタ数の自動的・段階的な学習を可能にすること。
• ネストドロップアウトが、ブルートフォースサーチに比べて必要な訓練イテレーション数を削減しながら、コンパクトで高精度なモデルを生成できることを示すこと。

提案手法

• ネストドロップアウトは、幾何分布から数値kを抽出し、インデックスk+1からnまでのすべてのフィルタをドロップアウトすることで畳み込み層に適用する。最初のk+1個のフィルタは保持される。
• フィルタは反復的に訓練される：固定回数のイテレーション後にスイーピングインデックスがインクリメントされ、以降の抽出では残存するフィルタのみが対象となる。
• Caffeにカスタムネストドロップアウト層を追加することで実装され、任意の層（例：畳み込み層や全結合層）の直後に配置可能で、ソルバーと統合してユニットスイーピングを実現する。
• このアプローチにより、段階的な容量スケーリングが可能になる：低インデックスのフィルタが最初に収束し固定され、高インデックスのフィルタが段階的にドロップアウトされる。
• プロセスは層ごとに適用される：まずconv1の最適なフィルタ数を特定し、次にネストドロップアウトを用いてconv2のフィルタ数を決定する。
• 訓練プロセスではミニバッチサイズ100の確率的勾配降下法が使用され、フィルタの削除は固定イテレーション数ではなく収束に基づいて行われる。

実験結果

リサーチクエスチョン

• RQ1 バックプロパゲーションで訓練されるCNNの畳み込み層に、ネストドロップアウトを効果的に適用してコンパクトな表現を学習できるか？
• RQ2 ネストドロップアウトが、与えられたタスクとデータ複雑度に対して最適なフィルタ数を自動的に特定可能か？
• RQ3 ブルートフォースサーチに比べ、ネストドロップアウトは必要な訓練イテレーション数を削減できるか？
• RQ4 ネストドロップアウトで訓練されたネットワークの性能は、すべてのフィルタを有する完全なネットワークと、ランダムに選択されたフィルタを有するプルーニング済みネットワークと比べてどうか？
• RQ5 ネストドロップアウトは、モデルパラメータを削減しながらも高い精度を維持する最小限のフィルタ集合を特定できるか？

主な発見

• ネストドロップアウトネットワークは、conv1にたった23個のフィルタで最大のテスト精度に到達し、32個のネットワークを別々に訓練するブルートフォースアプローチを上回った。
• ネストドロップアウトモデルは、conv1に23個のフィルタを使用して0.787のテスト精度を達成し、32個のフィルタを持つ完全なベースラインネットワーク（0.786）と同等の精度を示した。
• ネストドロップアウトによる訓練には90,000イテレーションで十分だったが、ブルートフォースサーチでは32個のネットワークを別々に訓練するため2,880,000イテレーションを要した。
• conv1とconv2の両方にネストドロップアウトを適用することで、最初の2層の総パラメータ数が25%削減され、64から48個のフィルタに減少した。
• 可視化結果から、ネストドロップアウトネットワークにおける高インデックスのフィルタは最小限の情報を保持しており、性能に寄与するのは最初の23個のフィルタのみであることが確認された。
• 5,000イテレーション後に、conv2で25個のフィルタが78%の訓練精度で学習されたことから、ネットワークがコンパクトで効果的なアーキテクチャに収束できることを示した。