[論文レビュー] 0/1 Deep Neural Networks via Block Coordinate Descent

Hui Zhang, Shenglong Zhou+2 more|arXiv (Cornell University)|Jun 19, 2022

Machine Learning and Algorithms被引用数 4

ひとこと要約

本稿では、勾配消失問題を克服するため、0/1ステップ関数を活性化関数として用いた深層ニューラルネットワーク（DNN）を学習するためのブロック座標降下（BCD）アルゴリズムを提案する。0/1 DNNを非制約最適化問題に再定式化し、部分問題に対する閉形式解を活用することで、ℓ₂,₀正則化を用いることでFLOPsとモデルサイズを削減しつつ、MNIST、FashionMNIST、CIFAR-10、CIFAR-100で最先端の性能を達成した。

ABSTRACT

The step function is one of the simplest and most natural activation functions for deep neural networks (DNNs). As it counts 1 for positive variables and 0 for others, its intrinsic characteristics (e.g., discontinuity and no viable information of subgradients) impede its development for several decades. Even if there is an impressive body of work on designing DNNs with continuous activation functions that can be deemed as surrogates of the step function, it is still in the possession of some advantageous properties, such as complete robustness to outliers and being capable of attaining the best learning-theoretic guarantee of predictive accuracy. Hence, in this paper, we aim to train DNNs with the step function used as an activation function (dubbed as 0/1 DNNs). We first reformulate 0/1 DNNs as an unconstrained optimization problem and then solve it by a block coordinate descend (BCD) method. Moreover, we acquire closed-form solutions for sub-problems of BCD as well as its convergence properties. Furthermore, we also integrate $\ell_{2,0}$-regularization into 0/1 DNN to accelerate the training process and compress the network scale. As a result, the proposed algorithm has a high performance on classifying MNIST and Fashion-MNIST datasets. As a result, the proposed algorithm has a desirable performance on classifying MNIST, FashionMNIST, Cifar10, and Cifar100 datasets.

研究の動機と目的

• 勾配が計算できない非微分可能な0/1ステップ関数を活性化関数として用いた深層ニューラルネットワークの学習アルゴリズムを開発すること。
• ステップ関数に起因する勾配消失問題を、勾配ベース最適化に依存しない方法で解消すること。
• ℓ₂,₀正則化を統合して、ネットワークのスパarsityを促進し、モデルサイズと計算コストを低減すること。
• 0/1 DNNが敵対的ノイズに対して頑健であり、競争力のある性能を示すことを実証すること。

提案手法

• 0/1 DNNの学習問題を、平均二乗誤差とℓ₂,₀正則化を組み合わせた損失関数を用いた非制約最適化問題に再定式化する。
• 他の重み行列を固定した上で、各重み行列W_iを交互に最適化するブロック座標降下（BCD）法を適用する。
• BCD更新における各部分問題に対して閉形式解を導出することで、勾配計算を一切行わずとも効率的かつ安定した最適化を実現する。
• ステップ関数（0/1活性化関数）とハードマックス層を用いて離散出力を生成し、バイナリニューロンの動作を保証する。
• 各重み行列の非ゼロ列数をペナルティとするℓ₂,₀正則化を統合し、スパarsityを誘導する。
• 理論的解析により収束保証が得られる、重み行列を交互に最小化するアルゴリズムを実装する。

実験結果

リサーチクエスチョン

• RQ1 勾配に依存しない最適化手法（BCD）は、不連続な0/1活性化関数を有する深層ニューラルネットワークを効果的に学習できるか？
• RQ2 ℓ₂,₀正則化の統合は、0/1 DNNのスパarsityと一般化性能にどのように影響を与えるか？
• RQ3 BCDで学習された0/1 DNNは、MNIST や CIFAR-10/100 といった標準的な画像分類ベンチマークでどの程度の性能を示すか？
• RQ4 ReLUベースのモデルと比較して、0/1 DNNは入力ノイズや敵対的摂動に対してどの程度の頑健性を示すか？
• RQ5 0/1 DNNは、顕著に削減されたFLOPsとモデルパラメータ数で、競争力ある精度を達成できるか？

主な発見

• BCDで学習された0/1 DNNは、MNISTでトップ1精度97.8%を達成し、ReLUおよびシグモイドベースラインを上回った。
• FashionMNISTでは、3,800個のフィルタパラメータでトップ1精度93.2%を達成し、標準的なReLUネットワークと比較してFLOPsを12%削減した。
• CIFAR-10では、3,800個のフィルタと182.9M FLOPsでトップ1精度93.1%を達成し、ReLUの225.6M FLOPsよりも顕著に低減した。
• CIFAR-100では、3,990個のフィルタパラメータと182.9M FLOPsでトップ1精度53.189%を達成し、効率性とスケーラビリティを示した。
• 0/1 DNNはガウスノイズに対して優れた頑健性を示し、高ノイズレベル下でも安定したテスト誤差を維持した。一方、ReLUベースのモデルは頻繁に誤分類を起こした。
• BCDアルゴリズムは信頼性高く収束し、STE、CCNN、PCNN、Bi-Real-Netを含むすべての比較手法と比較して最も低いFLOPsを達成した。これにより、その効率性が確認された。