[論文レビュー] Fine-Pruning: Joint Fine-Tuning and Compression of a Convolutional Network with Bayesian Optimization

Frederick Tung, S. Muralidharan+1 more|arXiv (Cornell University)|Jul 28, 2017

Advanced Image and Video Retrieval Techniques参考文献 29被引用数 15

ひとこと要約

本稿では、反復処理においてベイズ最適化を用いて、畳み込みネットワークの微調整と圧縮を連携して最適化する Fine-Pruning を提案する。本手法は、UCMerced Land Use で最大 48.8 倍、Describable Textures で最大 23.7 倍のパラメータ削減を達成したが、密度型の微調整モデルと比較してテスト精度の低下は 1% 以内にとどまった。

ABSTRACT

When approaching a novel visual recognition problem in a specialized image domain, a common strategy is to start with a pre-trained deep neural network and fine-tune it to the specialized domain. If the target domain covers a smaller visual space than the source domain used for pre-training (e.g. ImageNet), the fine-tuned network is likely to be over-parameterized. However, applying network pruning as a post-processing step to reduce the memory requirements has drawbacks: fine-tuning and pruning are performed independently; pruning parameters are set once and cannot adapt over time; and the highly parameterized nature of state-of-the-art pruning methods make it prohibitive to manually search the pruning parameter space for deep networks, leading to coarse approximations. We propose a principled method for jointly fine-tuning and compressing a pre-trained convolutional network that overcomes these limitations. Experiments on two specialized image domains (remote sensing images and describable textures) demonstrate the validity of the proposed approach.

研究の動機と目的

• リモートセンシングやテクスチャなど、特殊な視覚ドメインにおける過剰にパラメータ化された微調整済みネットワークの非効率性を解消すること。
• 独立的な微調整と事後圧縮の限界、特に固定された圧縮パラメータや過大なハイパーパramータ探索の問題を克服すること。
• ネットワーク圧縮と微調整を連携して最適化する原理的で適応的な手法を開発し、精度を損なわずメモリ効率を向上させること。
• トレーニング中にネットワークの特性の変化に応じて、層別に圧縮率を自動で動的に調整できる仕組みを実現すること。

提案手法

• 微調整とベイズ最適化による圧縮パラメータの更新を繰り返す反復的プロセスを導入する。
• ベイズ最適化を用いて、ネットワークの性能に基づいて時間経過とともに適応する最適な圧縮パラメータ（例：各層のスパarsityレベル）を学習する。
• 圧縮プロセスを微分可能関数として定式化し、パラメータ数を最小化しつつ精度を維持することを目的とする。
• 層別にスパarsityを制御できるパラメータ化された圧縮モジュールを適用し、fc6 や fc7 のような高パラメータ層の優先的圧縮を可能にする。
• 各反復で安定した収束を確保するため、固定学習率 0.001 を用い、10 エポック分トレーニングする。
• 圧縮と微調整の間でフィードバックを許容することで、知識移譲と圧縮の相性を活かし、最適化プロセスをガイドする。

Figure 1: Consider the task of training a deep convolutional neural network on a specialized image domain (e.g. remote sensing images). (a) The conventional approach starts with a network pre-trained on a large, generic dataset (e.g. ImageNet) and fine-tunes it to the specialized domain. (b) Since t

実験結果

リサーチクエスチョン

• RQ1 適応的最適化による連携微調整と圧縮は、独立的な事後圧縮よりもモデルサイズの削減をより効果的に実現できるか？
• RQ2 ベイズ最適化は、反復的圧縮の過程で層別に圧縮パラメータを選定する際に、どのように改善されるか？
• RQ3 本手法は、特殊な画像ドメインにおいて顕著な圧縮を達成しつつ、高い精度をどの程度維持できるか？
• RQ4 本手法は自動的に fc6 や fc7 のような高パラメータ層の圧縮を優先するか。その理由は何か？
• RQ5 ベイズ最適化が学習した適応的圧縮戦略は、固定または粗いヒューリスティックな圧縮法に比べ、メモリ-精度トレードオフにおいて優れているか？

主な発見

• UCMerced Land Use データセットでは、Fine-Pruning がパラメータ数を 1.17M（元の 57.0M）にまで 48.8 倍に削減したが、密度型微調整モデルと比較してテスト精度の低下は 1% 以内にとどまった。
• より挑戦的な Describable Textures データセットでは、Fine-Pruning が 2.41M のパラメータ（23.7 倍圧縮）を達成し、独立したベースラインと比較して圧縮効率が 5.9 倍向上した。
• ベイズ最適化コントローラーは、初期段階で強い圧縮を適用し、ネットワークが収束するに従い徐々に攻撃的になる傾向を学習した。
• 本手法は、目的関数に与える影響が大きいことから、fc6（99.2% のパラメータ削減）および fc7（99.6% のパラメータ削減）の層を自動的に優先的に圧縮した。
• 層別圧縮の結果、UCMerced では全体で 98.0% のパラメータが削減され、全結合層での削減率が最も高かった。
• 10回のランダム実行において一貫した性能を示し、特殊な視覚ドメインへの汎用性と頑健性を裏付けた。