[論文レビュー] Interpretable Convolutional Neural Networks via Feedforward Design

C.‐C. Jay Kuo, Min Zhang+3 more|arXiv (Cornell University)|Oct 5, 2018

Adversarial Robustness in Machine Learning参考文献 27被引用数 8

ひとこと要約

本論文は、バックプロパゲーションを排除し、1回のパスでデータ統計からネットワークパラメータを導出する一括処理の方法により、解釈可能な畳み込みニューラルネットワーク（CNN）のフィードフォワード（FF）設計を提案する。畳み込み層にはSaab変換を、全結合層には段階的な最小二乗回帰（LSR）を用いることで、MNISTおよびCIFAR-10で競争力ある性能を達成するとともに、特徴学習およびネットワーク挙動の透明性を提供する。

ABSTRACT

The model parameters of convolutional neural networks (CNNs) are determined by backpropagation (BP). In this work, we propose an interpretable feedforward (FF) design without any BP as a reference. The FF design adopts a data-centric approach. It derives network parameters of the current layer based on data statistics from the output of the previous layer in a one-pass manner. To construct convolutional layers, we develop a new signal transform, called the Saab (Subspace Approximation with Adjusted Bias) transform. It is a variant of the principal component analysis (PCA) with an added bias vector to annihilate activation's nonlinearity. Multiple Saab transforms in cascade yield multiple convolutional layers. As to fully-connected (FC) layers, we construct them using a cascade of multi-stage linear least squared regressors (LSRs). The classification and robustness (against adversarial attacks) performances of BP- and FF-designed CNNs applied to the MNIST and the CIFAR-10 datasets are compared. Finally, we comment on the relationship between BP and FF designs.

研究の動機と目的

• バックプロパゲーションを回避し、データ中心の1回パスによるパラメータ導出を用いる解釈可能なCNN設計手法の開発。
• 線形代数、統計、信号処理の原則に基づいてネットワーク設計を定式化することで、バックプロパゲーションに基づく学習とは補完的な枠組みを提供。
• 原理的な次元削減とクラスタリングに基づく特徴マッピングを用いて、CNNの構築を通じてその理解を向上。
• 標準のバックプロパゲーション学習モデルと比較して、ベンチマークデータセット上でのフィードフォワード設計CNNの性能と頑健性を評価。

提案手法

• 活性化非線形性を排除するためのバイアス項を追加した主成分分析（PCA）の変種である、サブスペース近似と調整付きバイアス（Saab）変換を導入。
• 複数の畳み込み層を、前の層の特徴マップに対して部分空間近似を実行する形で、Saab変換を段階的に組み合わせて構築。
• 特徴から部分クラス、そして最終的なクラスラベルへとマッピングするため、多段階の線形最小二乗回帰（LSR）を用いて全結合層を構築。この際、偽ラベルを用いる。
• 反復的最適化を用いずに、入力データの統計量（特に平均と共分散）からフィルタ重みとバイアスを直接導出。
• 入力特徴の最大ノルムを用いてバイアスを制限することで、活性化出力を非負に保つバイアス選択戦略を適用。
• 1次および2次統計量のみを用いて、順方向で1回のパスでネットワークを構築。

実験結果

リサーチクエスチョン

• RQ1 バックプロパゲーションを用いずに、競争力ある分類精度を維持できるCNNが設計可能か？
• RQ2 データ中心の順方向設計は、バックプロパゲーションに基づく学習と比較して、精度および頑健性においてどのように異なるか？
• RQ3 Saab変換とLSRに基づく層構築は、CNNにおける解釈性をどの程度向上できるか？
• RQ4 バイアス調整は、Saab変換における非負活性化出力の確保と信号構造の保存に果たす役割は何か？
• RQ5 順方向設計ネットワークは、標準のバックプロパゲーション学習モデルと比較して、敵対的攻撃に対してどのように性能を示すか？

主な発見

• フィードフォワード設計CNNは、MNISTおよびCIFAR-10データセットで、バックプロパゲーション学習モデルと同等の分類性能を達成した。
• FF設計ネットワークは敵対的攻撃に対して頑健であることが示され、データ駆動型設計プロセスに内在する安定性を示唆した。
• Saab変換は次元削減を効果的に行いながらも、判別性の高い特徴を保持したため、効率的な畳み込み層構築が可能となった。
• 段階的なLSRにおける偽ラベルの使用により、バックプロパゲーションを用いずに特徴空間からクラス空間への階層的マッピングが有効に実現された。
• 理論的境界から導出されたバイアス選択戦略により、バイアスを入力特徴の最大ノルム以上に設定することで、非負活性化出力を保証した。
• 本手法は、ブラックボックス型バックプロパゲーションとは対照的に、線形代数と統計に基づく明確な数学的根拠を持つ透明で解釈可能な代替手法を提供した。