[論文レビュー] ArchRepair: Block-Level Architecture-Oriented Repairing for Deep Neural Networks

Hua Qi, Zhijie Wang+5 more|arXiv (Cornell University)|Nov 26, 2021

Adversarial Robustness in Machine Learning参考文献 63被引用数 4

ひとこと要約

ArchRepairは、精度と耐障害性を向上させるために、ネットワークアーキテクチャと重みを同時に最適化することで、深層ニューラルネットワークのブロック単位、アーキテクチャ指向の修復を提案する。敵対的アウェアなスペクトル解析を用いて正確なブロック局所化を実現し、アーキテクチャと重みの共同最適化のための連続的探索空間を採用することで、最新のDNN修復手法に比べて効率性と有効性の両面で優れている。

ABSTRACT

Over the past few years, deep neural networks (DNNs) have achieved tremendous success and have been continuously applied in many application domains. However, during the practical deployment in the industrial tasks, DNNs are found to be erroneous-prone due to various reasons such as overfitting, lacking robustness to real-world corruptions during practical usage. To address these challenges, many recent attempts have been made to repair DNNs for version updates under practical operational contexts by updating weights (i.e., network parameters) through retraining, fine-tuning, or direct weight fixing at a neural level. In this work, as the first attempt, we initiate to repair DNNs by jointly optimizing the architecture and weights at a higher (i.e., block) level. We first perform empirical studies to investigate the limitation of whole network-level and layer-level repairing, which motivates us to explore a novel repairing direction for DNN repair at the block level. To this end, we first propose adversarial-aware spectrum analysis for vulnerable block localization that considers the neurons' status and weights' gradients in blocks during the forward and backward processes, which enables more accurate candidate block localization for repairing even under a few examples. Then, we further propose the architecture-oriented search-based repairing that relaxes the targeted block to a continuous repairing search space at higher deep feature levels. By jointly optimizing the architecture and weights in that space, we can identify a much better block architecture. We implement our proposed repairing techniques as a tool, named ArchRepair, and conduct extensive experiments to validate the proposed method. The results show that our method can not only repair but also enhance accuracy & robustness, outperforming the state-of-the-art DNN repair techniques.

研究の動機と目的

• ニューロン、レイヤー、ネットワークレベルで動作する従来のDNN修復手法の限界に対処する。これらの手法はアーキテクチャ関係を無視しがちであり、計算コストが高く、最適でない修復結果をもたらす。
• ニューロンレベルとネットワークレベルの中間的粒度として、修復効果と計算効率のバランスが取れた新たな修復粒度「ブロック単位」を同定する。
• 少数の例しか入手できない状況でも、特定の入力に対して不正な挙動を示す脆弱なブロックを正確に局所化する手法を開発する。
• 特定のブロック内でのアーキテクチャと重みの共同最適化を可能にし、改善された耐障害性を持つブロックレベル構造を発見する。
• アーキテクチャの変更を伴うブロックレベルでの修復が、自然な破損および敵対的ノイズに対して精度と耐障害性を向上させることを実証する。

提案手法

• 前方および後方伝搬中にニューロンの疑わしさと重み勾配を評価することで、脆弱なブロックを局所化する敵対的アウェアなスペクトル解析を提案する。
• ブロック単位の修復問題を、DARTSに基づく微分可能アーキテクチャ探索問題として定式化し、ブロックを操作および特徴の連続的探索空間に緩和する。
• ノードを深層特徴、エッジを学習可能な操作として定義する探索空間を定義することで、アーキテクチャと重みの勾配ベース共同最適化を可能にする。
• 修復中の信頼性の高いアーキテクチャ探索を保証するため、DARTSの安定性向上版（PC-DARTS）を採用する。
• ブロック局所化とアーキテクチャ・重み共同最適化を統合したパイプラインとして、ArchRepairと呼ばれるツールを実装する。
• ターゲットブロックのアーキテクチャと重みのみを更新することでDNNを修復し、ネットワークの他の部分への干渉を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 ニューロンレベルとネットワークレベルの中間的粒度としてのブロック単位修復は、従来の手法に比べて、より高い精度と効率性を達成できるか？
• RQ2 少数の故障例しか入手できない状況でも、DNN内の脆弱なブロックを正確に局所化できるか？
• RQ3 ブロック内でのアーキテクチャと重みの共同最適化は、重みのみの最適化に比べて、より耐障害性が高く、精度の高いDNNを実現できるか？
• RQ4 ブロックレベルでのアーキテクチャ指向の修復は、自然な破損および敵対的摂動に対して耐障害性を向上させることができるか？
• RQ5 提案手法は、精度、耐障害性、計算コストの観点から、最新のDNN修復技術を上回ることができるか？

主な発見

• ArchRepairは、敵対的アウェアなスペクトル解析を用いて、少数の例でも脆弱なブロックを高い精度で局所化できる。
• アーキテクチャ指向の探索ベースの修復手法は、精度と耐障害性を向上させる改善されたブロックアーキテクチャを効果的に発見した。
• ArchRepairは、複数のベンチマークデータセットにおいて、6つの最新のDNN修復手法を上回る精度と耐障害性を達成した。
• ネットワーク全体の再訓練なしに、ガウスノイズ、ぼかし、天候関連の破損など、さまざまな自然破損に対して顕著な耐障害性の向上を達成した。
• ブロック単位の修復に注力することで、全ネットワーク再訓練に比べて計算コストを削減しつつ、優れた性能を達成した。
• ブロックレベルでのアーキテクチャと重みの共同最適化により、重みのみの最適化手法よりも、未観測の故障パターンに対しても一般化性能が向上した。