[論文レビュー] AutoShuffleNet: Learning Permutation Matrices via an Exact Lipschitz Continuous Penalty in Deep Convolutional Neural Networks

Jiancheng Lyu, Shuai Zhang+2 more|arXiv (Cornell University)|Jan 24, 2019

Advanced Neural Network Applications参考文献 20被引用数 9

ひとこと要約

この論文では、シャッフルネットのような軽量CNNにおけるチャネルシャッフルの最適な置換行列を学習するためのAutoShuffleNetを提案する。行列のℓ₁₋₂ノルムに基づく正確なリプシッツ連続な非凸正則化項を統合することで、SGDによるエンドツーエンド学習が可能となり、訓練後には丸め処理によって正確な置換行列が回復される。CIFAR-10およびImageNetにおいて一貫した精度向上が得られ、緩和されたシャッフルからの低下は無視できるほど小さい。

ABSTRACT

ShuffleNet is a state-of-the-art light weight convolutional neural network architecture. Its basic operations include group, channel-wise convolution and channel shuffling. However, channel shuffling is manually designed empirically. Mathematically, shuffling is a multiplication by a permutation matrix. In this paper, we propose to automate channel shuffling by learning permutation matrices in network training. We introduce an exact Lipschitz continuous non-convex penalty so that it can be incorporated in the stochastic gradient descent to approximate permutation at high precision. Exact permutations are obtained by simple rounding at the end of training and are used in inference. The resulting network, referred to as AutoShuffleNet, achieved improved classification accuracies on CIFAR-10 and ImageNet data sets. In addition, we found experimentally that the standard convex relaxation of permutation matrices into stochastic matrices leads to poor performance. We prove theoretically the exactness (error bounds) in recovering permutation matrices when our penalty function is zero (very small). We present examples of permutation optimization through graph matching and two-layer neural network models where the loss functions are calculated in closed analytical form. In the examples, convex relaxation failed to capture permutations whereas our penalty succeeded.

研究の動機と目的

• 訓練中に置換行列を学習することで、固定された手作業で設計された置換行列に依存しない、軽量CNNにおけるチャネルシャッフルの自動化を目的とする。
• 連続的なSGDベースの学習フレームワーク内で離散的置換行列を最適化する課題に対処することを目的とする。
• 正確でリプシッツ連続な非凸リラクゼーションを提供する置換行列の非凸緩和を構築することを目的とする。
• 凸リラクゼーション（例：二重確率行列）が深層学習の文脈で有用な置換行列を捉えられないことを示すこと。
• 提案された正則化項を用いた学習された置換行列が、分類精度において手作業で設計されたシャッフルを上回ることを示すこと。

提案手法

• 置換行列の非凸リラクゼーションとして、行列の各行および各列におけるℓ₁₋₂ノルムの和として定義される行列ℓ₁₋₂正則化項を導入する。
• 妥当性を保証し、リプシッツ連続性を可能にするために、最適化をBirkhoff多面体（二重確率行列）に制限する。
• ハイパーパrameter λを用いて損失関数に正則化項を統合し、SGDによるエンドツーエンドバックプロパゲーションを可能にする。
• 2段階の訓練プロセスを採用：まず緩和された行列で学習を行い、その後、しきい値処理と行列スケーリングを適用して最終行列を丸めることで置換行列に射影する。
• グループ畳み込みにおけるチャネルシャッフル用に、ShuffleNetアーキテクチャにこの手法を適用し、置換行列を学習する。
• 小規模な問題における置換最適化の解析的閉形式解を用いて、本手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 勾配ベース最適化を用いて、軽量CNNにおけるチャネルシャッフル用の置換行列を訓練中に効果的に学習できるか？
• RQ2 行列ℓ₁₋₂ノルムに基づく非凸で正確な正則化項は、二重確率行列のような凸リラクゼーションを上回るか？
• RQ3 提案された正則化項はSGDに統合可能であり、安定な学習を維持するためのリプシッツ連続性を保っているか？
• RQ4 推論における精度に与える影響として、緩和された行列を正確な置換行列に丸めることの影響は何か？
• RQ5 標準ベンチマークにおいて、学習された置換行列は手作業で設計されたシャッフルと比較して分類性能で優れているか？

主な発見

• AutoShuffleNetは、CIFAR-10およびImageNetの両データセットで、手作業で設計されたシャッフルを上回る一貫した精度向上を達成した。ShuffleNet v2 (1.5×)では、CIFAR-10で最大0.48%、ImageNetで最大0.58%の向上を示した。
• 緩和されたシャッフルを正確な置換行列に丸めることに起因する相対誤差は無視できるほど小さく、CIFAR-10では-1.07×10⁻³、ImageNetでは-2.83×10⁻⁵の値を示した。
• CIFAR-10では、AutoShuffleNetの検証精度が緩和されたシャッフル精度と0.000215%以内に収まり、丸め処理後の低下が最小限であることが示された。
• 訓練中にℓ₁₋₂正則化項の値が顕著に減少し、λ=10⁻³で5.07×10⁻²にまで低下した。これは置換行列への収束を示している。
• 二重確率行列への凸リラクゼーションは、丸め処理後でさえも劣悪な性能を示し、有用な置換行列を生成できなかった。一方、本手法は成功した。
• 2層のニューラルネットワーク回帰タスクにおいて、本手法は最適な置換行列を特定したが、凸リラクゼーションに続く丸め処理では失敗した。