[논문 리뷰] Adversarial Learning with Margin-based Triplet Embedding Regularization

Yaoyao Zhong, Weihong Deng|arXiv (Cornell University)|2019. 09. 20.

Adversarial Robustness in Machine Learning참고 문헌 52인용 수 5

한 줄 요약

이 논문은 마진 기반 트리플릿 임베딩 정규화(MTER)를 제안하며, 이는 마진 기반 트리플릿 제약 조건을 반복 최적화하여 임베딩 공간에서 局소 스무스함을 강제함으로써 딥 네ural 네트워크의 강건성을 향상시키는 새로운 적대적 훈련 방법이다. 실험 결과, MNIST 및 CASIA-WebFace, VGGFace2, MS-Celeb-1M와 같은 대규모 얼굴 인식 데이터셋에서 기능 수준 및 레이블 수준의 적대적 공격에 대해 뚜렷한 개선 효과를 보였다.

ABSTRACT

The Deep neural networks (DNNs) have achieved great success on a variety of computer vision tasks, however, they are highly vulnerable to adversarial attacks. To address this problem, we propose to improve the local smoothness of the representation space, by integrating a margin-based triplet embedding regularization term into the classification objective, so that the obtained model learns to resist adversarial examples. The regularization term consists of two steps optimizations which find potential perturbations and punish them by a large margin in an iterative way. Experimental results on MNIST, CASIA-WebFace, VGGFace2 and MS-Celeb-1M reveal that our approach increases the robustness of the network against both feature and label adversarial attacks in simple object classification and deep face recognition.

연구 동기 및 목표

• 딥 네트워크(DNN)가 개방 집합 설정(예: 딥 얼굴 인식)에서 적대적 공격에 취약한 점을 해결하기 위해.
• 표현 공간의 국소 스무스함을 향상시켜, 인식 불가능한 변형에 대한 민감도를 줄여 모델의 강건성을 향상시키기 위해.
• 기능 수준 및 레이블 수준의 적대적 공격(포괄적 및 유니버설 변형 포함)에 효과적으로 대응할 수 있는 방어 메커니즘을 개발하기 위해.
• 추론 시 감지 기반 기법에 의존하지 않고도, 닫힘 집합 및 열린 집합 분류 작업 모두에 호환되는 훈련 시점 방어를 제공하기 위해.
• 큰 마진을 사용한 임베딩 공간 정규화가 표준 적대적 훈련을 초월해 강건성을 크게 향상시킨다는 것을 입증하기 위해.

제안 방법

• 분류 손실에 마진 기반 트리플릿 임베딩 정규화(MTER) 항목을 통합하여, 클래스 간 간격을 확보하고 클래스 내 응집도를 강화한다.
• 반복적인 두 단계 최적화를 적용: 첫 번째로, 임베딩 공간에서 잠재적인 적대적 변형을 식별하고, 두 번째로, 원본 및 대상 임베딩 간의 큰 마진을 강제하여 이를 처벌한다.
• 큰 마진을 사용해 서로 다른 클래스의 표현 간의 거리가 항상 크도록 하되, 동일 클래스 내에서는 스무스함을 유지한다.
• 반복적인 기울기 기반 최적화를 통해 훈련 중에 적대적 공격을 시뮬레이션하여, 모델이 강건한 표현을 학습하도록 유도한다.
• MTER를 표준 분류 손실(예: 교차 엔트로피)과 결합하고, 표준 역전파를 사용한 엔드 투 엔드 훈련을 지원한다.
• 닫힘 집합(MNIST) 및 열린 집합(얼굴 인식) 벤치마크에 모두 적용하여, MS-Celeb-1M 및 VGGFace2와 같은 대규모 데이터셋을 포함한다.

실험 결과

연구 질문

• RQ1 임베딩 공간에서 국소 스무스함을 향상시키는 것이 딥 네트워크의 적대적 공격에 대한 강건성을 향상시키는가?
• RQ2 트리플릿 기반 정규화에 큰 마진을 통합하면 일반화 능력과 기능 수준 및 레이블 수준의 적대적 공격에 대한 저항력이 향상되는가?
• RQ3 수백만 명의 정체성을 포함한 대규모 개방 집합 얼굴 인식 환경에서 MTER는 표준 적대적 훈련보다 얼마나 효과적인가?
• RQ4 ArcFace와 같은 최신 얼굴 인식 모델과 MTER를 효과적으로 조합하여 정확도를 훼손하지 않고도 강건성을 추가로 향상시킬 수 있는가?
• RQ5 특히 대규모 개방 집합 설정에서, MTER의 성능은 훈련 데이터셋의 규모와 다양성에 의존하는가?

주요 결과

• MTER 방법은 표준 모델에서 거의 100% 수준이었던 적대적 공격의 성공률(정체성 위장 성공 확률)을 크게 감소시켰다.
• CASIA-WebFace 및 VGGFace2에서 MTER 정규화된 ArcFace 모델은 LFW에서 99.5%의 정확도, YTF에서 94.8%의 정확도를 기록했으며, 표준 적대적 훈련보다 강건성 향상 효과를 보였다.
• MS-Celeb-1M에서는 더 작은 데이터셋에 비해 MTER의 강건성 향상 효과가 다소 뚜렷하지 않았다. 이는 대규모 사전 훈련 이전에 더 작은 고품질 데이터셋에서의 미세조정이 모델 강건성에 기여할 수 있음을 시사한다.
• 데이터 증강을 초월하는 구조적 정규화를 통합함으로써 표준 적대적 훈련(예: IFTGSM 사용)보다 우수한 성능을 보였으며, 이는 최적화 전략이 데이터 주입만큼 중요하다는 것을 시사한다.
• MS-Celeb-1M에서 사전 훈련 후 VGGFace2에서 미세조정을 수행한 MTER 정규화 모델은 LFW에서 99.6%의 정확도, YTF에서 97.5%의 정확도를 기록했으며, 기능 수준 및 레이블 수준의 공격에 대해 강력한 강건성을 확보했다.
• 표준 모델 대비 MTER 정규화 모델의 얼굴 인식 정확도는 약 0.2–0.5% 정도 약간 감소했으며, 이는 정확도와 강건성 사이의 작은 상충 관계를 시사한다.