[論文レビュー] Revisiting Sparse Convolutional Model for Visual Recognition

Xili Dai, Mingyang Li+7 more|arXiv (Cornell University)|Oct 24, 2022

Adversarial Robustness in Machine Learning被引用数 21

ひとこと要約

本論文は畳み込み稀疎化コーディング(CSC)層を標準の畳み込みの代替としてそのまま挿入可能に組み込み、Sparse Dictionary Learning Networks (SDNets) を形成し、解釈性の向上とノイズおよび敵対的撹乱に対する頑健性を加えつつ競争力のある精度を達成する。

ABSTRACT

Despite strong empirical performance for image classification, deep neural networks are often regarded as ``black boxes'' and they are difficult to interpret. On the other hand, sparse convolutional models, which assume that a signal can be expressed by a linear combination of a few elements from a convolutional dictionary, are powerful tools for analyzing natural images with good theoretical interpretability and biological plausibility. However, such principled models have not demonstrated competitive performance when compared with empirically designed deep networks. This paper revisits the sparse convolutional modeling for image classification and bridges the gap between good empirical performance (of deep learning) and good interpretability (of sparse convolutional models). Our method uses differentiable optimization layers that are defined from convolutional sparse coding as drop-in replacements of standard convolutional layers in conventional deep neural networks. We show that such models have equally strong empirical performance on CIFAR-10, CIFAR-100, and ImageNet datasets when compared to conventional neural networks. By leveraging stable recovery property of sparse modeling, we further show that such models can be much more robust to input corruptions as well as adversarial perturbations in testing through a simple proper trade-off between sparse regularization and data reconstruction terms. Source code can be found at https://github.com/Delay-Xili/SDNet.

研究の動機と目的

• 画像分類における深層ネットの高い実証性能と疎なモデルの解釈性を結びつける動機付け。
• CSC層を微分可能な最適化層として導入し、CNNバックボーンの標準的な畳み込みを置換する。
• CIFAR-10、CIFAR-100、ImageNet で競争力のある精度を示し、訓練効率を維持する。
• 原理に基づく疎モデリング手法を通じて、入力の破損および敵対的撹乱に対する頑健性の利点を示す。

提案手法

• FISTA を用いて疎実現目的を解く畳み込み稀疎化(CSC) 層を、微分可能な暗黙層として定義する。
• ResNet 系バックボーン内の畳み込み層の一部またはすべてを CSC 層に置換し、SDNet アーキテクチャを形成する。
• クロスエントロピー損失と正規化された辞書制約を用いてエンドツーエンドで訓練する。正規化集合内の A を満たすように射影 SGD を用いる。
• テスト時に疎性パラメータ lambda を調整してノイズの多い入力に対処することで頑健な推論を活用する（CSC における定理にインスパイアされた安定性）。
• フォワードパスのために FISTA の2回の反復を展開してバックプロパゲーションと実用的な訓練を可能にする。
• 合成ノイズから lambda の残差関係を学習し、テスト時に lambda を選択する頑健な推論手順（アルゴリズム1）を提供する。

実験結果

リサーチクエスチョン

• RQ1 CSC層は CIFAR-10/100 および ImageNet で標準 ConvNet と比較して競争力のある画像分類性能を提供できるか？
• RQ2 CSC層を備えた SDNet は、大規模なデータ拡張や訓練変更を必要とせず、入力の撹乱や敵対的撹乱に対する頑健性を向上させるか？
• RQ3 疎性に基づくモデリングは深層ネットの解釈性と層ごとの挙動にどのような影響を与えるか？
• RQ4 さまざまなノイズ種に対する破損の頑健性を改善するには、テスト時の疎性パラメータ lambda の簡単な調整で足りるか？
• RQ5 畳み込みを CSC 層に置換した場合の計算コストと精度のトレードオフはどうなるか？

主な発見

データセット	アーキテクチャ	モデルサイズ	Top-1 精度	メモリ	スピード
CIFAR-10	ResNet-18	11.2M	95.54%	1.0 GB	1600 n/s
CIFAR-10	ResNet-34	21.1M	95.57%	2.0 GB	1000 n/s
CIFAR-10	MDEQ	11.1M	93.80%	2.0 GB	90 n/s
CIFAR-10	SCN	0.7M	94.36%	10.0 GB	39 n/s
CIFAR-10	SCN-18	11.2M	95.12%	3.5 GB	158 n/s
CIFAR-10	SDNet-18 (ours)	11.2M	95.20%	1.2 GB	1500 n/s
CIFAR-10	SDNet-34 (ours)	21.1M	95.57%	2.4 GB	900 n/s
CIFAR-100	ResNet-18	11.2M	77.82%	1.0 GB	1600 n/s
CIFAR-100	ResNet-34	21.1M	78.39%	2.0 GB	1000 n/s
CIFAR-100	MDEQ	11.2M	74.12%	2.0 GB	90 n/s
CIFAR-100	SCN	0.7M	80.07%	10.0 GB	39 n/s
CIFAR-100	SCN-18	11.2M	78.59%	3.5 GB	158 n/s
CIFAR-100	SDNet-18 (ours)	11.3M	78.31%	1.2 GB	1500 n/s
CIFAR-100	SDNet-34 (ours)	21.2M	78.48%	2.4 GB	900 n/s
ImageNet	ResNet-18	11.7M	68.98%	24.1 GB	2100 n/s
ImageNet	ResNet-34	21.5M	72.83%	32.3 GB	1400 n/s
ImageNet	SCN	9.8M	70.42%	95.1 GB	51 n/s
ImageNet	SDNet-18 (ours)	11.7M	69.47%	37.6 GB	1800 n/s
ImageNet	SDNet-34 (ours)	21.5M	72.67%	46.4 GB	1200 n/s

• SDNet-18/SDNet-34 は、同等のパラメータ予算の下で CIFAR-10/100 および ImageNet で Top-1 精度が ResNet-18/34 と同等である。
• SDNet モデルは破損入力に対して頑健で、適応的な lambda は固定 lambda より CIFAR-10-C および ImageNet-C で精度をさらに向上させる。
• Algorithm 1 によって導かれた適応的 lambda は、固定の訓練時 lambda（0.1）に比べて破損環境で顕著な向上をもたらす。
• MDEQ と比較して、SDNet-18 は CIFAR-10 / ImageNet でより高い精度を維持しつつ 7 倍以上高速。SCN は競争力のある精度を達成するが訓練が遅い。
• lambda を調整すると、SDNets は敵対的頑健性が改善され、PGD 攻撃下で頑健な精度が大幅に向上する。
• CSC 層の FISTA 反復回数を増やすと、ImageNet および ImageNet-C で自然精度と頑健精度の両方が一貫して向上する。