[논문 리뷰] Adversarial Attacks on Brain-Inspired Hyperdimensional Computing-Based Classifiers

Fangfang Yang, Shaolei Ren|arXiv (Cornell University)|2020. 06. 10.

Ferroelectric and Negative Capacitance Devices참고 문헌 49인용 수 13

한 줄 요약

이 논문은 뇌에 영감을 받은 초차원 계산(HDC) 분류기의 적대적 공격에 대한 첫 번째 체계적 연구를 제시하며, 최소한의 변형이 가해진 입력에 의한 취약성을 입증한다. 그레이박스 환경에서 수정된 유전 알고리즘을 사용하여, 저자들은 고정된 다数 규칙 하에서 78%의 성공률로 HDC 분류기를 오도시키는 적대적 예제를 생성한다. 이는 에너지 효율적인 온디바이스 AI 시스템에서의 보안 위험을 드러낸다.

ABSTRACT

Being an emerging class of in-memory computing architecture, brain-inspired hyperdimensional computing (HDC) mimics brain cognition and leverages random hypervectors (i.e., vectors with a dimensionality of thousands or even more) to represent features and to perform classification tasks. The unique hypervector representation enables HDC classifiers to exhibit high energy efficiency, low inference latency and strong robustness against hardware-induced bit errors. Consequently, they have been increasingly recognized as an appealing alternative to or even replacement of traditional deep neural networks (DNNs) for local on device classification, especially on low-power Internet of Things devices. Nonetheless, unlike their DNN counterparts, state-of-the-art designs for HDC classifiers are mostly security-oblivious, casting doubt on their safety and immunity to adversarial inputs. In this paper, we study for the first time adversarial attacks on HDC classifiers and highlight that HDC classifiers can be vulnerable to even minimally-perturbed adversarial samples. Concretely, using handwritten digit classification as an example, we construct a HDC classifier and formulate a grey-box attack problem, where an attacker's goal is to mislead the target HDC classifier to produce erroneous prediction labels while keeping the amount of added perturbation noise as little as possible. Then, we propose a modified genetic algorithm to generate adversarial samples within a reasonably small number of queries. Our results show that adversarial images generated by our algorithm can successfully mislead the HDC classifier to produce wrong prediction labels with a high probability (i.e., 78% when the HDC classifier uses a fixed majority rule for decision). Finally, we also present two defense strategies -- adversarial training and retraining-- to strengthen the security of HDC classifiers.

연구 동기 및 목표

• HDC 분류기의 보안 취약성을 조사하기 위해, 효율성과 강건성 덕분에 저전력 IoT 기기에서 점점 더 널리 사용되고 있는 HDC 분류기의 보안 취약성을 분석한다.
• 깊은 신경망과 유사한 적대적 예제에 대해, 하드웨어 노이즈에 강건한 것으로 알려진 HDC 분류기가 취약한지 분석한다.
• 그레이박스 위협 모델 하에서 HDC 분류기를 대상으로 효과적이고 쿼리 효율적인 공격 방법을 개발한다.
• 적대적 훈련과 재학습을 통한 방어 메커니즘을 제안하고 평가하여 HDC 분류기의 강건성을 향상시킨다.

제안 방법

• 공격자가 HDC 분류기의 결정 메커니즘에 부분적인 지식을 가진 그레이박스 환경에서 적대적 공격 문제를 수립한다.
• 목표 모델의 쿼리 수를 최소화하면서도 최소한의 변형으로 적대적 샘플을 생성하기 위해 수정된 유전 알고리즘을 설계한다.
• 결정 수단으로 고정된 다수결 규칙을 사용한 초벡터 기반 분류를 적용하여 공격 성공률를 체계적으로 평가할 수 있도록 한다.
• 생성된 적대적 예제에 대비해 HDC 분류기를 강화하기 위해 적대적 훈련 및 재학습 전략을 적용한다.
• 공격 및 방어 성능 평가를 위해 MNIST 손글씨 숫자 분류를 벤치마크로 사용한다.
• 공격 성공률와 변형 크기를 평가하여 HDC 분류기의 위협 표면을 정량화한다.

실험 결과

연구 질문

• RQ1 HDC 분류기가 저전력, 온디바이스 추론을 위해 설계되었더라도, 적대적 공격이 성공적으로 오도시킬 수 있는가?
• RQ2 그레이박스 가정 하에서 쿼리 효율적인 유전 알고리즘 기반 공격이 HDC 분류기의 적대적 예제를 얼마나 효과적으로 생성하는가?
• RQ3 다양한 HDC 분류기 구성에서 적대적 예제의 오분류 성공률는 어떠한가?
• RQ4 적대적 훈련과 재학습은 HDC 분류기의 공격에 대한 강건성을 크게 향상시킬 수 있는가?
• RQ5 적대적 샘플의 변형 크기는 HDC 시스템의 본질적 노이즈 내성과 비교해 어떻게 되는가?

주요 결과

• 고정된 다수결 규칙을 사용하는 HDC 분류기에서 손글씨 숫자를 오분류하는 데 공격이 78%의 성공률를 기록한다.
• 최소한의 변형으로도 적대적 예제를 생성할 수 있으며, 이는 HDC 분류기가 미세하고 눈에 띄지 않는 입력 수정에 취약하다는 것을 시사한다.
• 수정된 유전 알고리즘이 제한된 쿼리 수로도 입력 공간을 효과적으로 탐색하여 실제 환경에서의 공격 가능성을 높인다.
• 적대적 훈련과 재학습은 이후 공격의 성공률를 크게 감소시켜, 효과적인 방어 수단으로서의 가능성을 입증한다.
• HDC가 하드웨어 유도 비트 오류에 강건한 것으로 알려져 있지만, 여전히 목표 지향적이고 입력 수준의 적대적 변형에 취약하다.