[논문 리뷰] Benchmarking the Accuracy and Robustness of Feedback Alignment Algorithms

Albert Jiménez Sanfiz, Mohamed Akrout|arXiv (Cornell University)|2021. 08. 30.

Advanced Memory and Neural Computing인용 수 4

한 줄 요약

이 논문은 깊이 있는 신경망에서 생물학적으로 타당한 피드백 정렬(FA) 알고리즘을 훈련하고 벤치마킹하기 위한 오픈소스 프레임워크인 BioTorch를 소개한다. MNIST, CIFAR-10, ImageNet에서 FA의 다양한 변종—uSF, brSF, frSF—을 평가하여 sign-일致성 방법인 uSF가 ImageNet에서 상위-1 오차 34.97%를 달성함으로써 백프로파게이션과 경쟁 가능함을 입증하였으며, 동시에 화이트박스 및_BLK박스 적대적 공격에 대해 향상된 강건성을 보임을 확인하였다.

ABSTRACT

Backpropagation is the default algorithm for training deep neural networks due to its simplicity, efficiency and high convergence rate. However, its requirements make it impossible to be implemented in a human brain. In recent years, more biologically plausible learning methods have been proposed. Some of these methods can match backpropagation accuracy, and simultaneously provide other extra benefits such as faster training on specialized hardware (e.g., ASICs) or higher robustness against adversarial attacks. While the interest in the field is growing, there is a necessity for open-source libraries and toolkits to foster research and benchmark algorithms. In this paper, we present BioTorch, a software framework to create, train, and benchmark biologically motivated neural networks. In addition, we investigate the performance of several feedback alignment methods proposed in the literature, thereby unveiling the importance of the forward and backward weight initialization and optimizer choice. Finally, we provide a novel robustness study of these methods against state-of-the-art white and black-box adversarial attacks.

연구 동기 및 목표

• 생물학적으로 타당한 학습 알고리즘, 특히 피드백 정렬(FA) 방법을 벤치마킹하기 위한 오픈소스 도구의 부족을 해결하기 위해.
• 전방 및 역방향 가중치 초기화, 최적화기 선택, 네트워크 깊이가 FA 알고리즘 성능에 미치는 영향을 조사하기 위해.
• 최신 화이트박스 및 블랙박스 적대적 공격에 대한 FA 기반 모델의 강건성을 평가하기 위해.
• 훈련 및 비교를 위한 재현 가능하고 모듈적이며 확장 가능한 프레임워크를 제공하기 위해.
• 다양한 데이터셋과 아키텍처에서 피드백 정렬 방법의 정확도 및 적대적 강건성에 대한 기준을 설정하기 위해.

제안 방법

• FA, DFA, uSF, brSF, frSF를 포함한 다섯 가지 피드백 정렬 변종을 지원하는 오픈소스 PyTorch 기반 프레임워크인 BioTorch를 개발하였다.
• 재현 가능한 벤치마킹을 위해 자동 모델 변환 및 구성 가능한 훈련 파이프라인을 구현하였다.
• 수렴성과 정렬성에 미치는 영향을 분석하기 위해 분산 유지 가중치 초기화(예: Kaiming, Xavier) 및 정규분포 초기화를 사용하였다.
• MNIST 및 Fashion-MNIST에서 얕은 네트워크를, CIFAR-10에서 ResNet-20를 사용한 깊은 네트워크를, ImageNet에서 전체 ResNet-18를 훈련하여 확장성 평가를 수행하였다.
• Torchattacks 라이브러리를 사용해 화이트박스 공격(FGSM, PGD, APGD, TPGD) 및 블랙박스 공격(Few-Pixel, Square)을 적용하여 강건성 평가를 수행하였다.
• 상위-1 검증 오차 및 다양한 노이즈 크기(ε)와 공격 쿼리 예산에서의 강건성을 측정하였다.

실험 결과

연구 질문

• RQ1 다양한 가중치 초기화 전략(예: Kaiming 대비 정규분포)이 피드백 정렬 방법의 수렴성과 성능에 미치는 영향은 무엇인가?
• RQ2 최적화기 선택(SGD 대비 Adam)이 전방 및 역방향 가중치 정렬과 최종 모델 정확도에 미치는 영향은 무엇인가?
• RQ3 피드백 정렬 방법이 백프로파게이션과 비교해 ImageNet에서 경쟁 가능한 정확도를 달성할 수 있는가?
• RQ4 피드백 정렬 기반 모델은 최신 화이트박스 및 블랙박스 적대적 공격에서 어떻게 성능을 보이는가?
• RQ5 sign-일치성 피드백 정렬 변종(uSF, brSF, frSF)은 표준 FA 및 DFA보다 향상된 강건성을 제공하는가?

주요 결과

• uSF 방법은 ResNet-18를 사용해 ImageNet에서 상위-1 검증 오차 34.97%를 기록하였으며, 표준 FA(85.25%) 및 DFA(82.45%)보다 뚜렷이 뛰어난 성능을 보였다.
• Adam 최적화기는 전방 및 역방향 가중치 초기화 간 불일치가 있을 경우에도 SGD보다 더 빠른 가중치 정렬과 더 높은 정확도를 달성하였다.
• FA 및 DFA로 훈련된 모델은 PGD 및 APGD 공격(ε ≤ 0.1)에서도 정확도 저하가 최소였으며, 이는 화이트박스 적대적 공격에 대해 강력한 강건성을 지닌다는 것을 시사한다.
• uSF, brSF, frSF 변종은 전체 가중치 또는 sign-단지 전송 방법보다 화이트박스 공격에서 더 높은 강건성을 보였으며, 이는 더 노이즈가 많은 기울기 때문일 것이다.
• Few-Pixel 블랙박스 공격는 모델 성능을 효과적으로 악화시켰지만, FA 및 sign-일치성 방법(uSF, brSF)은 BP 기반 모델보다 더 강건성을 보였다.
• Square 블랙박스 공격는 모든 방법의 성능을 악화시켰으며, 이는 피드백 정렬 방법이 이 쿼리 집약적 공격에 대해 특별한 강건성 이점을 가지지 못한다는 것을 시사한다.