[논문 리뷰] Houdini: Fooling Deep Structured Prediction Models

Moustapha Cissé, Yossi Adi외 2명|arXiv (Cornell University)|2017. 07. 17.

Adversarial Robustness in Machine Learning참고 문헌 33인용 수 165

한 줄 요약

이 논문은 Houdini 손실과 심층 구조화 예측을 방해하는 적대적 공격을 제시합니다. 특히 자세 추정에서 관절 부정렬과 부분의 혼합을 초래하며 때로는 시각적으로 그럴듯하게 남아 지표 실패로 이어집니다.

ABSTRACT

Generating adversarial examples is a critical step for evaluating and improving the robustness of learning machines. So far, most existing methods only work for classification and are not designed to alter the true performance measure of the problem at hand. We introduce a novel flexible approach named Houdini for generating adversarial examples specifically tailored for the final performance measure of the task considered, be it combinatorial and non-decomposable. We successfully apply Houdini to a range of applications such as speech recognition, pose estimation and semantic segmentation. In all cases, the attacks based on Houdini achieve higher success rate than those based on the traditional surrogates used to train the models while using a less perceptible adversarial perturbation.

연구 동기 및 목표

• 깊은 구조화 예측 및 자세 추정 모델의 강건성 연구를 동기부여한다.
• Houdini loss가 구조화된 출력에 혼란을 주는 적대적 섭동을 가능하게 함을 입증한다.
• 이러한 섭동이 평가 지표와 모델 동작에 어떤 영향을 미치는지 분석한다.
• 관절 이동, 부분 혼합, 좌우 혼동과 같은 실패 유형을 강조한다.

제안 방법

• Houdini loss를 이용해 구조화된 예측을 섭동시키는 적대적 공격을 제안하고 적용한다.
• 관절 위치의 이동과 몸의 부위 혼합을 포함한 자세 추정의 붕괴를 유도한다.
• 지표 실패를 일으키지만 시각적으로 그럴듯해 보이는 적대적 예시를 생성한다.
• 시각적 시연(예: Figure 1)을 사용해 방해된 자세를 설명한다.

실험 결과

연구 질문

• RQ1 Houdini loss가 심층 구조화 예측 모델에 어떤 취약점을 도입하는가?
• RQ2 적대적 섭동이 자세 추정 출력과 관련 지표에 어떤 영향을 미치는가?
• RQ3 생성된 적대적 자세가 잘못된 예측에도 불구하고 얼마나 그럴듯해 보이는가?
• RQ4 Houdini 기반 공격으로 야기된 오류 유형(예: 관절 이동, 부분 혼합, 좌우 혼동)을 어떻게 특징지을 수 있는가?

주요 결과

• Houdini loss를 이용한 적대적 공격이 자세 추정을 방해한다.
• 섭동은 관절 위치의 이동과 몸 부위의 혼합을 유발한다.
• 공격은 오른쪽과 왼쪽 관절을 혼동시켜 보이는 방향을 뒤집는 경우가 있다.
• 변형된 자세가 시각적으로 그럴듯해 보일 때에도 목표 지표가 실패한다.
• Figure 1은 Houdini-based 공격으로 인해 방해된 자세의 추가 예를 설명한다.