[論文レビュー] Adversarially Robust Neural Architectures

Minjing Dong, Yanxi Li+2 more|arXiv (Cornell University)|Sep 2, 2020

Adversarial Robustness in Machine Learning参考文献 42被引用数 38

ひとこと要約

この論文はニューラルアーキテクチャ設計が敵対的ロバストネスに与える影響を研究し、Lipschitzベースの信頼度制約を用いた学習ベースのアーキテクチャ探索を導入してロバストなアーキテクチャを見つける。

ABSTRACT

Deep Neural Networks (DNNs) are vulnerable to adversarial attacks. Existing methods are devoted to developing various robust training strategies or regularizations to update the weights of the neural network. But beyond the weights, the overall structure and information flow in the network are explicitly determined by the neural architecture, which remains unexplored. This paper thus aims to improve the adversarial robustness of the network from the architecture perspective. We explore the relationship among adversarial robustness, Lipschitz constant, and architecture parameters and show that an appropriate constraint on architecture parameters could reduce the Lipschitz constant to further improve the robustness. The importance of architecture parameters could vary from operation to operation or connection to connection. We approximate the Lipschitz constant of the entire network through a univariate log-normal distribution, whose mean and variance are related to architecture parameters. The confidence can be fulfilled through formulating a constraint on the distribution parameters based on the cumulative function. Compared with adversarially trained neural architectures searched by various NAS algorithms as well as efficient human-designed models, our algorithm empirically achieves the best performance among all the models under various attacks on different datasets.

研究の動機と目的

• 敵対的ロバストネスとNASフレームワーク下のネットワークアーキテクチャの関係を調査する。
• アーキテクチャパラメータがネットワークのリプシッツ定数に与える影響を導出する。
• 分布からサンプルするアーキテクチャパラメータを用いたLipschitz制約付きアーキテクチャ探索を提案する。
• 探索中のアーキテクチャパラメータの不確実性を定量化し活用するための信頼学習を導入する。

提案手法

• アーキテクチャパラメータの関数としてネットワークのリプシッツ定数を近似し、全体のリプシッツ定数に関する上界を導出する。
• 操作と入力重みを持つ微分可能なセルでアーキテクチャを表現し、セル間でリプシッツ伝搬を展開する。
• 分布からアーキテクチャパラメータをサンプルすることで信頼学習を可能にする。
• 対数正規近似と信頼ハイパーパラメータ η を用いた累積分布制約としてリプシッツ制約を定式化する。
• 重みとアーキテクチャ分布パラメータを同時に最適化するためにADMMで制約付き最適化を解く。
• さまざまな攻撃下で敵対的に訓練されたNASや手作りモデルと比較する効率的なNASフレームワーク（RACL）を提供する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルアーキテクチャはリプシッツ定数を介して敵対的ロバストネスにどのような影響を与えるのか。
• RQ2 分布からアーキテクチャパラメータをサンプルし、リプシッツベースの制約を課すことで過度な敵対的訓練を行わずにロバスト性を向上させることができるか。
• RQ3 信頼学習はNAS探索空間内でロバストなアーキテクチャ経路を探索する上でどのような影響を与えるか。
• RQ4 微分可能なNASフレームワークをリプシッツ制約とアーキテクチャパラメータの信頼性を組み込むように拡張できるか。

主な発見

• 提案されたフレームワークはリプシッツ定数伝搬を介してNASセル間でロバストネスをアーキテクチャに結び付ける。
• アーキテクチャパラメータをサンプルするのに対数正規分布を使用することで、微分可能で信頼性を意識した探索が可能になる。
• 凸型のリプシッツ制約を確率ベース（CDF）形式と信頼レベル η で導出・適用する。
• RACLは複数のデータセットと攻撃において他のNAS手法および最先端モデルを上回るロバスト性を達成する。
• 信頼学習は探索を低信頼オプションを検討しつつ高信頼性のアーキテクチャ経路を選好するのに役立つ。