[논문 리뷰] Accurate and Robust Neural Networks for Security Related Applications Exampled by Face Morphing Attacks

Clemens Seibold, Wojciech Samek외 2명|arXiv (Cornell University)|2018. 06. 11.

Adversarial Robustness in Machine Learning참고 문헌 25인용 수 24

한 줄 요약

이 논문은 얼굴 모핑 공격과 적대적 편향에 대한 강건성을 향상시키기 위해 훈련 데이터를 수정함으로써 깊이 신경망을 훈련시키는 방법을 제안한다. 특히 부분 모핑과 다중클래스 사전훈련을 활용하여, 위조된 얼굴의 일부만 포함된 훈련 데이터로 모델이 미세한 잔상들을 학습하도록 유도함으로써, 의미적 및 블랙박스 공격에 대해 매우 정확하고 강건한 네트워크를 구축한다. 또한 계층별 기여도 전파를 통해 의사결정 과정을 해석 가능하게 하여 얼굴의 다양한 영역에서 특징 수준의 의사결정 능력이 향상됨을 확인할 수 있다.

ABSTRACT

Artificial neural networks tend to learn only what they need for a task. A manipulation of the training data can counter this phenomenon. In this paper, we study the effect of different alterations of the training data, which limit the amount and position of information that is available for the decision making. We analyze the accuracy and robustness against semantic and black box attacks on the networks that were trained on different training data modifications for the particular example of morphing attacks. A morphing attack is an attack on a biometric facial recognition system where the system is fooled to match two different individuals with the same synthetic face image. Such a synthetic image can be created by aligning and blending images of the two individuals that should be matched with this image.

연구 동기 및 목표

• 보안 중심 응용 분야에서 훈련 데이터를 수정함으로써 신경망의 정확도와 강건성에 미치는 영향을 조사하는 것.
• 특정 얼굴 영역만 위조된 부분 모핑 데이터로 훈련할 경우, 모델의 일반화 능력과 적대적 공격에 대한 강건성에 미치는 영향을 평가하는 것.
• 계층별 기여도 전파(LRP)를 활용해 의사결정 과정을 분석함으로써 모델의 해석 가능성 향상.
• 의미적 및 블랙박스 적대적 공격에 저항할 수 있는 강건하고 정확하며 해석 가능한 신경망을 개발하는 것.
• 다중클래스 사전훈련이 얼굴 특징의 영역 간 비교를 가능하게 하여 정확도와 강건성을 균형 있게 향상시킬 수 있는지 탐색하는 것.

제안 방법

• 완전한 모핑, 부분 모핑(눈, 코, 입 각각 별도로 위조), 다중클래스 사전훈련을 포함한 다양한 훈련 데이터로 맞춤형 데이터셋(진짜 얼굴과 모핑된 얼굴 포함)을 기반으로 VGG19 기반의 합성곱 신경망을 훈련시켰다.
• 얼굴 랜드마크 정렬과 알파 블렌딩을 활용한 완전 자동 모핑 파이프라인을 구현하여 훈련 및 평가를 위한 합성 모핑 이미지를 생성하였다.
• 입력 이미지 영역이 최종 예측에 기여하는 정도를 시각화하고 해석하기 위해 계층별 기여도 전파(LRP)를 적용하였다. 이는 의사결정 메커니즘 분석을 가능하게 한다.
• 의미적 공격(최소한의 현실적인 편향)과 블랙박스 공격(질의 기반, 대체 모델을 사용해 적대적 예제 생성)의 두 가지 유형의 공격에 대해 강건성을 평가하였다.
• 다양한 데이터 증강 전략을 사용한 모델 간 정확도 지표와 적대적 공격 성공률을 비교하였다.
• 각 얼굴 영역(눈, 코, 입)을 별개의 클래스로 간주하여, 영역 간 특징의 구분 능력을 향상시키기 위해 다중클래스 사전훈련 전략을 적용하였다.

실험 결과

연구 질문

• RQ1 오직 얼굴 영역의 일부만 위조된 부분 모핑 데이터로 훈련할 경우, 신경망의 적대적 공격에 대한 강건성에 어떤 영향을 미치는가?
• RQ2 결정에 필요한 정보를 제한적으로 제공하는 수정된 훈련 데이터를 사용할 경우, 모델의 정확도와 강건성 간의 관계는 어떻게 되는가?
• RQ3 다양한 훈련 데이터 수정 전략이 계층별 기여도 전파를 통해 드러나는 모델의 해석 가능성과 특징 수준의 주의 집중 방식에 어떤 영향을 미치는가?
• RQ4 얼굴 영역을 별개의 클래스로 간주하는 다중클래스 사전훈련 전략이 모핑 탐지에서 정확도와 강건성을 동시에 향상시킬 수 있는가?
• RQ5 완전한 모핑으로만 훈련된 모델에 비해, 부분 모핑 데이터로 훈련된 모델은 얼굴의 일부 영역만 위조된 경우에 얼마나 잘 모핑 공격를 탐지할 수 있는가?

주요 결과

• 완전한 모핑으로만 훈련된 모델에 비해, 부분 모핑으로 훈련된 모델는 특히 완전히 위조되지 않은 모핑 영역에 대해 적대적 공격에 대해 훨씬 더 높은 강건성을 보였다.
• 완전한 모핑과 진짜 얼굴 이미지만 본 나이브 훈련 네트워크는 눈, 코, 입 영역, 특히 코와 입 영역에서 특징 표현이 약해져 부분 모핑에 대해 낮은 강건성을 보였다.
• 계층별 기여도 전파(LRP) 분석 결과, 나이브 네트워크는 눈 영역에 과도하게 집중하여 코와 입 영역의 모핑 잔상 탐지가 일관되지 않았다.
• 다중클래스 사전훈련 전략은 영역 간 구조적 일관성을 기반으로 기여도가 분포되는 방식으로, 영역 간 비교를 가능하게 하여 더 뛰어난 강건성과 정확도를 가진 모델을 생성하였다.
• 다중클래스 모델는 진짜 영역의 기여도가 위조된 영역의 기여도가 없을 때 유추될 수 있음을 보여주었으며, 이는 단순한 훈련 설정에서는 볼 수 없었던 비교 기반 의사결정 메커니즘이 존재함을 시사했다.
• 높은 강건성에도 불구하고, 초기에는 다중클래스 모델의 정확도가 나이브 모델보다 낮았으나, 성능과 내성의 균형을 맞추기 위한 복잡한 사전훈련 전략을 통해 이 문제를 해결하였다.