[論文レビュー] Deep Clustered Convolutional Kernels

Minyoung Kim, Luca Rigazio|arXiv (Cornell University)|Mar 6, 2015

Advanced Neural Network Applications参考文献 17被引用数 12

ひとこと要約

本論文では、確率的勾配降下法中に畳み込みカーネルを繰り返し分割・統合することで、畳み込みニューラルネットワークのアーキテクチャを自動で最適化する訓練アルゴリズムであるDeep Clustered Convolutional Kernels（DCCK）を提案する。この手法は、手作業で設計されたアーキテクチャを上回る性能を発揮するとともに、冗長性を低減し、MNIST、GTSRB、CIFAR-10でパrameter数を減らしながら最先端の結果を達成した。

ABSTRACT

Deep neural networks have recently achieved state of the art performance thanks to new training algorithms for rapid parameter estimation and new regularization methods to reduce overfitting. However, in practice the network architecture has to be manually set by domain experts, generally by a costly trial and error procedure, which often accounts for a large portion of the final system performance. We view this as a limitation and propose a novel training algorithm that automatically optimizes network architecture, by progressively increasing model complexity and then eliminating model redundancy by selectively removing parameters at training time. For convolutional neural networks, our method relies on iterative split/merge clustering of convolutional kernels interleaved by stochastic gradient descent. We present a training algorithm and experimental results on three different vision tasks, showing improved performance compared to similarly sized hand-crafted architectures.

研究の動機と目的

• 手作業による試行錯誤によるニューラルネットワークアーキテクチャ設計に起因するスケーラビリティのボトルネックを解消すること。
• 訓練中にモデルアーキテクチャとパラメータを同時に最適化する訓練アルゴリズムを開発すること。
• 分割／統合クラスタリングを用いてカーネルの複雑さを動的に調整することで、モデルの冗長性を低減し、一般化性能を向上させること。
• 自動的な構造的最適化が、パrameter数を減らしながらも、手作業で設計されたアーキテクチャと同等またはそれを上回る性能を発揮できることを示すこと。

提案手法

• 訓練中に畳み込みカーネルに対して反復的な分割／統合クラスタリング処理を実行し、モデルの複雑さを増大させた後、再び低減する。
• k-meansや類似手法を用いてカーネルをクラスタリングし、冗長または類似したフィルタを特定して統合する。
• 統合後、削減されたアーキテクチャにおけるパラメータを再推定するために、確率的勾配降下法（SGD）によるファインチューニングを実施する。
• 性能が検証データで評価されたものに基づいて、分割（能力の増大）と統合（冗長性の除去）を交互に実行する。
• 初期段階では、すべてのカーネルに対して一様に分割を適用するが、今後の研究として特徴の識別能に基づく選択的分割の導入を提案している。
• アルゴリズムは訓練全体にわたりエンドツーエンドで適用され、アーキテクチャの進化とパラメータ学習が同時に進行する。

実験結果

リサーチクエスチョン

• RQ1 パrameter推定の過程でCNNアーキテクチャを自動的に最適化する訓練アルゴリズムは、手作業による設計に依存することなく実現可能か？
• RQ2 分割／統合による反復的カーネルクラスタリングは、固定された手作業アーキテクチャと比較して、一般化性能や性能を向上させるか？
• RQ3 畳み込みフィルタの冗長性を排除することで、パrameter数を減らしながらも、より高い精度を達成できるか？
• RQ4 自動的に最適化されたアーキテクチャの性能は、標準ベンチマークにおいて、Network-In-Networkのような最先端の手動チューニングモデルと比較してどうか？
• RQ5 この手法は、ImageNetのようなより複雑なデータセットや、音声認識などの視覚タスク以外の分野へもスケーリング可能か？

主な発見

• MNISTおよびGTSRBにおいて、DCCKはパrameter数を減らしながらも、ベースラインモデルよりも顕著な性能向上を達成した。
• CIFAR-10では、非常に最適化されたNetwork-In-Networkアーキテクチャに対してもDCCKを適用したことで性能向上が見られ、その頑健性を示した。
• 分割層を追加し、パrameter数を倍増させた結果、平均誤差率が0.5%改善された。これは、能力の増大に伴う段階的利得を示している。
• DCCKで最適化されたアーキテクチャは、同じパrameter数の元のモデルよりも一貫して優れた性能を示し、訓練曲線における低いテスト損失と高い精度が確認された。
• 速度比較では、DCCKで訓練されたモデルが推論時に高速化しており、同じハードウェア上での前方伝搬時間が最大15%短縮された。
• この手法は、特に単純なデータセットにおいて、カーネルクラスタリングによる自動アーキテクチャ探索が、より優れた一般化性能をもたらす可能性を示した。