[논문 리뷰] Butterfly Effect: Bidirectional Control of Classification Performance by Small Additive Perturbation

Young Joon Yoo, Seonguk Park외 3명|arXiv (Cornell University)|2017. 11. 27.

Adversarial Robustness in Machine Learning참고 문헌 44인용 수 3

한 줄 요약

이 논문은 분류기의 가중치를 수정하지 않고도 분류 성능을 향상시키거나 악화시키는 작은 덧셈 항법을 생성하기 위해 최소최대 GAN 유사 프레임워크를 사용하는 새로운 변동 생성 네트워크(PGN)를 소개한다. 이 방법은 타겟 네트워크 아키텍처가 알려져 있지 않은 상황에서도 양방향 제어를 가능하게 하여, 청소된 데이터에서의 정확도 향상과 유니버설 적인 적대적 예제 생성을 동시에 달성한다. 이는 딥러닝 분야에서 성능 향상 효과를 갖는 항법이 처음으로 입증된 사례이다.

ABSTRACT

This paper proposes a new algorithm for controlling classification results by generating a small additive perturbation without changing the classifier network. Our work is inspired by existing works generating adversarial perturbation that worsens classification performance. In contrast to the existing methods, our work aims to generate perturbations that can enhance overall classification performance. To solve this performance enhancement problem, we newly propose a perturbation generation network (PGN) influenced by the adversarial learning strategy. In our problem, the information in a large external dataset is summarized by a small additive perturbation, which helps to improve the performance of the classifier trained with the target dataset. In addition to this performance enhancement problem, we show that the proposed PGN can be adopted to solve the classical adversarial problem without utilizing the information on the target classifier. The mentioned characteristics of our method are verified through extensive experiments on publicly available visual datasets.

연구 동기 및 목표

• 작은 덧셈 항법이 분류 성능을 떨어뜨리는 것 외에도 향상시킬 수 있는지 조사하는 것.
• 타겟 분류기의 아키텍처에 접근할 수 없더라도 성능 향상 및 적대적 공격을 위한 항법을 생성할 수 있는 통합 프레임워크를 개발하는 것.
• 타겟 네트워크의 기울기나 구조에 의존하지 않고 항법을 생성함으로써 유니버설 적인 적대적 공격을 가능하게 하는 것.

제안 방법

• 최소최대 게임을 통해 훈련되는 생성기와 판별기로 구성된 항법 생성 네트워크(PGN)를 제안하여 작은 덧셈 항법을 생성한다.
• 생성기는 분류기의 출력이 원하는 성능 결과(정확도 향상 또는 오분류)로 향하도록 항법을 학습한다.
• 판별기는 변형된 입력이 목표 성능 결과를 이끌어내는지 평가하여 생성기에게 피드백을 제공한다.
• 항법 크기 제어와 미세한, 눈에 띄지 않는 변화 확보를 위해 적대적 손실과 ℓ1 정규화를 조합한 손실 함수를 사용한다.
• 동일한 훈련 설정을 사용하여 성능 향상 및 적대적 공격 작업에 모두 프레임워크를 적용한다.
• 항법 강도와 성능 변화 사이의 트레이드오프를 제어할 수 있도록 감마 파라미터를 활용한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 딥 네트워크의 분류 정확도를 떨어뜨리는 것 외에도 작은 덧셈 항법을 설계하여 향상시킬 수 있는가?
• RQ2 타겟 네트워크 아키텍처를 알지 못한 채 다양한 입력과 모델에서 성능을 떨어뜨리는 유니버설 항법을 생성할 수 있는가?
• RQ3 동일한 훈련 메커니즘을 사용하여 성능 향상 항법과 적대적 항법을 동시에 생성할 수 있는 단일 통합 프레임워크를 만들 수 있는가?
• RQ4 항법의 크기가 성능 향상과 영상 왜곡 사이의 트레이드오프에 어떻게 영향을 미치는가?
• RQ5 ℓ1 정규화가 적대적 훈련 중 항법 강도 제어에 어떤 역할을 하는가?

주요 결과

• 적대적 항법 생성 시 ImageNet-10에서 ResNet50을 대상으로 최대 53.8%의 정확도 저하를 달성하여 강력한 공격 능력을 입증하였다.
• STL-10 데이터셋에서 ResNet50의 경우 최대 12.4% 향상, DenseNet169의 경우 최대 14.8% 향상되어 뚜렷한 성능 향상을 보였다.
• 타겟 분류기의 아키텍처에 접근할 수 없음에도 불구하고 유니버설 적인 적대적 항법을 성공적으로 생성하였으며, 이 경우 기존 방법보다 뛰어난 성능을 보였다.
• 감마 값이 높을수록 항법 강도가 증가하였고, γ=3에서 강력한 적대적 효과를 유지하면서도 영상 품질이 양호하였다.
• 적대적 훈련 중 항법 크기를 제어하는 데 있어 ℓ1 정규화 항목이 핵심적이었으며, 이 항목이 생략될 경우 불안정하고 과도하게 큰 항법이 발생하였다.
• 적대적 설정에서 판별기 손실이 더 빨리 수렴한 이유는 초기에 양성 샘플 비율(정확히 오분류된 이미지)이 높기 때문이었다.