[논문 리뷰] Metric Attack and Defense for Person Re-identification

Song Bai, Yingwei Li외 3명|arXiv (Cornell University)|2019. 01. 30.

Adversarial Robustness in Machine Learning인용 수 16

한 줄 요약

이 논문은 사람 재식별(re-ID) 성능을 심각하게 악화시키는 거리 메트릭의 취약점을 악용하여 악성 예측 예제를 생성하는 새로운 방법인 Adversarial Metric Attack를 소개한다. 또한, 메트릭을 유지하는 네트워크를 제안하여, 악성 예측 공격가 메트릭 기반의 re-ID 시스템을 근본적으로 약화시킬 수 있음을 보여주고, 대응 학습을 통해 강건성을 향상시킬 수 있음을 입증한다.

ABSTRACT

Person re-identification (re-ID) has attracted much attention recently due to its great importance in video surveillance. In general, distance metrics used to identify two person images are expected to be robust under various appearance changes. However, our work observes the extreme vulnerability of existing distance metrics to adversarial examples, generated by simply adding human-imperceptible perturbations to person images. Hence, the security danger is dramatically increased when deploying commercial re-ID systems in video surveillance. Although adversarial examples have been extensively applied for classification analysis, it is rarely studied in metric analysis like person re-identification. The most likely reason is the natural gap between the training and testing of re-ID networks, that is, the predictions of a re-ID network cannot be directly used during testing without an effective metric. In this work, we bridge the gap by proposing Adversarial Metric Attack, a parallel methodology to adversarial classification attacks. Comprehensive experiments clearly reveal the adversarial effects in re-ID systems. Meanwhile, we also present an early attempt of training a metric-preserving network, thereby defending the metric against adversarial attacks. At last, by benchmarking various adversarial settings, we expect that our work can facilitate the development of adversarial attack and defense in metric-based applications.

연구 동기 및 목표

• 기존의 거리 메트릭이 사람 재식별(re-ID)에 대해 악성 예측 예제에 얼마나 취약한지 조사하기.
• 특히 학습 및 추론 과정에서 별도의 메트릭 단계를 포함하는 re-ID와 같이 메트릭 기반 학습에서의 악성 예측 공격 연구가 부족한 점을 보완하기.
• 분류 기반 공격과 유사한 방식으로, 메트릭 학습에 특화된 병렬 악성 예측 공격 프레임워크를 제안하기.
• 악성 편향에 대한 저항력을 유지하기 위해 특징 임bedding과 메트릭 강건성을 동시에 최적화하는 메트릭을 유지하는 네트워크를 개발하기.
• 다양한 악성 예측 설정에서의 공격 효과성과 방어 강건성을 평가하기 위한 벤치마크를 설정하고, 메트릭 기반 응용 분야의 향후 연구 기반을 마련하기.

제안 방법

• 사람 이미지에 작은, 인식하기 어려운 편향을 적용하여 re-ID에서의 거리 메트릭을 교란시키는 악성 예측 예제를 생성하는 Adversarial Metric Attack를 제안한다.
• 분류 기반 악성 예측 공격 원리를 메트릭 학습 환경에 적용하여, 메트릭을 미분 가능한 구성 요소로 간주하고 최대한의 메트릭 왜곡을 유도하기 위해 최적화한다.
• 학습 중에 특징 임베딩과 메트릭 강건성을 동시에 최적화하여 악성 편향에 저항할 수 있도록 메트릭을 유지하는 네트워크를 설계한다.
• 악성 노이즈가 존재하더라도 양성 및 음성 쌍 간의 거리 메트릭 거리가 일관성을 유지하도록 유도하는 손실 함수를 사용한다.
• 표준 re-ID 벤치마크를 활용하여 다양한 악성 예측 설정 하에서 공격 효과성과 방어 강건성을 평가한다.
• 기울기를 기반으로 한 최적화를 적용하여, 올바르게 매칭된 쌍과 잘못 분류된 쌍 간의 거리 메트릭 오차를 최대화하는 편향을 생성한다.

실험 결과

연구 질문

• RQ1 기존의 거리 메트릭은 사람 재식별에서 얼마나 악성 편향에 취약한가?
• RQ2 예측이 학습된 거리 함수에 의존하는 re-ID의 메트릭 학습 단계에 악성 예측 공격가 효과적으로 전이될 수 있는가?
• RQ3 re-ID 시스템에서 메트릭 성능을 악화시키는 악성 예측 예제의 핵심 특성은 무엇인가?
• RQ4 악성 공격 하에서도 메트릭의 무결성을 유지할 수 있는 방어 메커니즘이 설계될 수 있는가?
• RQ5 다양한 악성 예측 설정에서 메트릭을 유지하는 학습 전략이 강건성을 향상시키는 데 얼마나 효과적인가?

주요 결과

• 기존의 사람 재식별에서 사용하는 거리 메트릭은 조그만, 인식하기 어려운 편향이 존재하더라도 매우 취약하다.
• Adversarial Metric Attack는 re-ID 성능을 심각하게 떨어뜨리며, 메트릭 기반 시스템이 표적 공격에 취약함을 입증한다.
• 제안된 메트릭을 유지하는 네트워크는 악성 공격의 영향을 효과적으로 줄여주며, 벤치마크 데이터셋에서 강건성을 향상시킨다.
• 포괄적인 아블레이션 연구를 통해, 다양한 악성 예측 설정 하에서도 방어 메커니즘이 높은 정확도를 유지함을 확인한다.
• 상용 re-ID 시스템이 영상 감시에 구현되어 있음에도 불구하고, 메트릭 수준의 취약성으로 인해 심각한 보안 격차가 존재함을 드러낸다.
• 이 연구 결과는 향후 메트릭 기반 학습 응용 분야의 악성 예측 강건성 연구를 위한 기초를 마련한다.