[논문 리뷰] ArchRepair: Block-Level Architecture-Oriented Repairing for Deep Neural Networks

Hua Qi, Zhijie Wang외 5명|arXiv (Cornell University)|2021. 11. 26.

Adversarial Robustness in Machine Learning참고 문헌 63인용 수 4

한 줄 요약

ArchRepair는 정확도와 내구성을 향상시키기 위해 네트워크 아키텍처와 가중치를 함께 최적화하는 블록 수준, 아키텍처 중심의 딥 네트워크 복구 방법을 제안한다. 공격자에 대한 민감도를 고려한 스펙트럼 분석을 통해 정확한 블록 위치를 파악하고, 아키텍처-가중치 공동 최적화를 위한 연속적 탐색 공간을 사용하며, 기존 최고 수준의 DNN 복구 기법들보다 효율성과 효과성 면에서 뛰어나다.

ABSTRACT

Over the past few years, deep neural networks (DNNs) have achieved tremendous success and have been continuously applied in many application domains. However, during the practical deployment in the industrial tasks, DNNs are found to be erroneous-prone due to various reasons such as overfitting, lacking robustness to real-world corruptions during practical usage. To address these challenges, many recent attempts have been made to repair DNNs for version updates under practical operational contexts by updating weights (i.e., network parameters) through retraining, fine-tuning, or direct weight fixing at a neural level. In this work, as the first attempt, we initiate to repair DNNs by jointly optimizing the architecture and weights at a higher (i.e., block) level. We first perform empirical studies to investigate the limitation of whole network-level and layer-level repairing, which motivates us to explore a novel repairing direction for DNN repair at the block level. To this end, we first propose adversarial-aware spectrum analysis for vulnerable block localization that considers the neurons' status and weights' gradients in blocks during the forward and backward processes, which enables more accurate candidate block localization for repairing even under a few examples. Then, we further propose the architecture-oriented search-based repairing that relaxes the targeted block to a continuous repairing search space at higher deep feature levels. By jointly optimizing the architecture and weights in that space, we can identify a much better block architecture. We implement our proposed repairing techniques as a tool, named ArchRepair, and conduct extensive experiments to validate the proposed method. The results show that our method can not only repair but also enhance accuracy & robustness, outperforming the state-of-the-art DNN repair techniques.

연구 동기 및 목표

• 기존 DNN 복구 방법들이 뉴런, 레이어 또는 네트워크 수준에서 작동하여 아키텍처 간 관계를 간과하고, 높은 계산 비용이나 최적화되지 않은 수정을 초래하는 한계를 해결한다.
• 복구 효과성과 계산 효율성 사이의 균형을 고려한 새로운 복구 세분성—블록 수준—을 규명한다.
• 적은 예시가 있는 상황에서도 특정 입력에서 고장 난 행동을 보이는 취약 블록을 정확히 국소화할 수 있는 방법을 개발한다.
• 목표로 한 블록 내에서 아키텍처와 가중치를 함께 최적화하여 개선된 내구성 있는 블록 수준의 구조를 발견한다.
• 블록 수준에서 아키텍처 변경을 통해 정확도와 자연적 오염 및 공격자에 의한 오염에 대한 내구성을 동시에 향상시킬 수 있음을 입증한다.

제안 방법

• 전방 및 후방 전파 중 뉴런의 의심스러움과 가중치 기울기를 평가하여 공격자에 대한 민감도를 고려한 스펙트럼 분석을 제안하여 취약 블록을 국소화한다.
• 블록 수준 복구 문제를 DARTS 기반의 미분 가능 아키텍처 탐색 문제로 재정의하여 블록을 연속적 탐색 공간으로 일반화한다.
• 노드가 깊은 특징을, 엣지가 학습 가능한 연산을 나타내는 탐색 공간을 정의하여 아키텍처와 가중치의 기울기 기반 공동 최적화를 가능하게 한다.
• 복구 과정 중 안정적인 아키텍처 탐색을 보장하기 위해 DARTS의 안정성 향상 버전인 PC-DARTS를 사용한다.
• 블록 국소화와 아키텍처-가중치 공동 최적화를 통합된 파이프라인으로 통합한 도구인 ArchRepair로 구현한다.
• 전체 네트워크에 영향을 최소화하기 위해 대상 블록의 아키텍처와 가중치만 업데이트하여 DNN을 복구한다.

실험 결과

연구 질문

• RQ1 뉴런 수준과 네트워크 수준 복구 사이의 중간 세분성인 블록 수준 복구가, 기존 방법보다 더 높은 정확도와 효율성을 달성할 수 있는가?
• RQ2 실패 예시가 적은 경우에도 DNN 내에서 취약 블록을 정확히 국소화할 수 있는가?
• RQ3 블록 내에서 아키텍처와 가중치를 함께 최적화하면, 가중치만 최적화하는 것보다 더 내구성 있고 정확한 DNN을 얻을 수 있는가?
• RQ4 블록 수준에서 아키텍처 중심의 복구가 자연 오염과 공격자에 의한 흐름에 대해 내구성을 향상시키는가?
• RQ5 제안된 방법이 정확도, 내구성, 계산 비용 측면에서 최고 수준의 DNN 복구 기법을 초월할 수 있는가?

주요 결과

• ArchRepair는 적은 샘플 조건에서도 공격자에 대한 민감도를 고려한 스펙트럼 분석을 통해 취약 블록을 높은 정밀도로 국소화한다.
• 아키텍처 중심의 탐색 기반 복구 방법은 정확도와 내구성을 향상시키는 개선된 블록 아키텍처를 성공적으로 발견한다.
• ArchRepair는 여러 벤치마크 데이터셋에서 여섯 가지 최고 수준의 DNN 복구 기법보다 정확도와 내구성 면에서 뛰어나다.
• 전체 네트워크 재학습 없이도 다양한 자연 오염(예: 가우시안 노이즈, 블러, 기상 오염 등)에 대해 높은 내구성을 확보한다.
• 블록 수준 복구에 집중함으로써 전체 네트워크 재학습 대비 계산 비용을 줄였으며, 더 뛰어난 성능을 달성한다.
• 블록 수준에서 아키텍처와 가중치를 공동 최적화함으로써, 가중치만 최적화하는 방법보다 더 나은 일반화 성능을 보여, 예측 불가능한 고장 패tern에도 잘 적응한다.