[논문 리뷰] On the Robustness of Human Pose Estimation

Sahil Shah, Naman Jain외 2명|arXiv (Cornell University)|2019. 08. 18.

Adversarial Robustness in Machine Learning참고 문헌 64인용 수 5

한 줄 요약

이 논문은 2차원 단일 인체 자세 추정(HPE) 모델에 대한 적대적 공격에 대한 최초의 종합적 연구를 제시하며, 히트맵 기반 및 직접 회귀 아키텍처 모두에서의 내성성에 대해 평가한다. 히트맵 기반 모델은 회귀 기반 모델보다 훨씬 더 내성적이며, 유니버설 편향은 매우 효과적이면서도 시각적으로 미세하며, 체형 제약 조건은 내성성을 향상시킨다. 특히 타겟 공격은 비타겟 공격보다 훨씬 더 어려운 것으로 나타났다.

ABSTRACT

This paper provides a comprehensive and exhaustive study of adversarial attacks on human pose estimation models and the evaluation of their robustness. Besides highlighting the important differences between well-studied classification and human pose-estimation systems w.r.t. adversarial attacks, we also provide deep insights into the design choices of pose-estimation systems to shape future work. We benchmark the robustness of several 2D single person pose-estimation architectures trained on multiple datasets, MPII and COCO. In doing so, we also explore the problem of attacking non-classification networks including regression based networks, which has been virtually unexplored in the past. \par We find that compared to classification and semantic segmentation, human pose estimation architectures are relatively robust to adversarial attacks with the single-step attacks being surprisingly ineffective. Our study shows that the heatmap-based pose-estimation models are notably robust than their direct regression-based systems and that the systems which explicitly model anthropomorphic semantics of human body fare better than their other counterparts. Besides, targeted attacks are more difficult to obtain than un-targeted ones and some body-joints are easier to fool than the others. We present visualizations of universal perturbations to facilitate unprecedented insights into their workings on pose-estimation. Additionally, we show them to generalize well across different networks. Finally we perform a user study about perceptibility of these examples.

연구 동기 및 목표

• 안전 중심 응용 분야에 점점 더 널리 쓰이고 있음에도 불구하고, 기존 연구에서 인체 자세 추정(HPE) 모델의 적대적 공격에 대한 취약성에 대한 중요한 간극을 메우기 위해.
• 특히 히트맵 기반 모델와 직접 회귀 모델 간의 내성성 차이를 분석하기 위해 다양한 HPE 아키텍처의 내성성을 적대적 편향 하에서 비교하기 위해.
• 이미지 특정 및 이미지 무관(유니버설) 적대적 공격의 효과성을 HPE 시스템에 평가하기 위해.
• 다중 척도 처리, 주의 메커니즘, 체형 제약 조건 등의 설계 선택 사항이 내성성에 미치는 영향을 분석하기 위해.
• 사용자 연구를 통해 적대적 예시의 시각적 인지 가능성( perceptibility )을 정량화하고, 모델의 내성성과 인간의 시각적 인지 간의 연관성을 파악하기 위해.

제안 방법

• MPII 및 COCO 데이터셋에서 훈련된 2차원 단일 인체 자세 추정(HPE) 모델에 최신의 기울기 기반 적대적 공격 알고리즘(예: IGSM)을 적용하였다.
• HPE에 특화된 타겟 및 비타겟 공격을 설계하였으며, 실행 가능성과 성공률 평가를 위해 철저한 초모수 조정을 수행하였다.
• 다양한 HPE 아키텍처 간의 일반화 능력을 연구하기 위해 유니버설 적대적 편향을 생성하고 시각화하였다.
• 정상 및 적대적 예측 간의 성능 비교를 위해 평균 절대 오차(MAE) 및 관절 오차(PCK)와 같은 표준 지표를 사용하여 내성성을 평가하였다.
• 편향 크기(ε)에 따라 다양한 수준의 적대적 예시의 시각적 인지 가능성( perceptibility )을 측정하기 위해 평균 의견 점수(MOS)를 사용한 사용자 연구를 수행하였다.
• 이미지 플립 및 스무딩과 같은 간단한 이미지 처리 방어 기법을 적용하여, 이미지 특정 편향과 유니버설 편향에 대한 방어 효과를 평가하였다.

실험 결과

연구 질문

• RQ1 특히 히트맵 기반 모델과 직접 회귀 모델 간의 HPE 아키텍처 설계가 적대적 공격에 대한 내성성에 어떤 영향을 미치는가?
• RQ2 유니버설 적대적 편향이 다양한 HPE 모델 간에 얼마나 잘 일반화되는가? 그리고 이미지에 무관한 특성에도 불구하고 여전히 효과적인가?
• RQ3 타겟 공격은 비타겟 공격에 비해 HPE 모델에서 더 어렵게 작동하는가? 그리고 이를 위해 필요한 초모수 조정은 무엇인가?
• RQ4 어느 관절이 적대적 편향에 가장 취약한가? 이는 모델과 공격 유형에 따라 어떻게 달라지는가?
• RQ5 적대적 편향은 인간 관찰자에게 얼마나 인지 가능한가? 그리고 편향 크기(ε)와 시각적 손상 감지 정도 간의 관계는 어떠한가?

주요 결과

• 히트맵 기반 HPE 모델은 동일한 편향 조건에서 회귀 기반 모델보다 훨씬 더 높은 내성성을 보이며, 오차 증가 폭이 낮다.
• 유니버설 적대적 편향은 이미지 특정 반복 공격만큼 성능 저하에 효과적이며, 계산 비용이 낮고 다양한 모델 간 이식성이 있다는 점에서 유리하다.
• 타겟 공격은 비타겟 공격보다 훨씬 더 어려운 것으로 나타났으며, 더 정밀한 초모수 조정이 필요하고 성공률도 낮았다.
• 손목과 발목과 같은 관절이 골반이나 척추와 같은 중심 관절보다 적대적 편향에 더 취약하여 신체 전반에 걸친 내성성의 이질성을 보였다.
• 적대적 예시의 시각적 인지 가능성은 편향 크기(ε)가 증가할수록 증가한다: ε=8일 때 47.93%의 사용자가 편향을 인지했으며, ε=32일 때는 97.84%로 증가했고, MOS는 ε=8일 때 1.96로 감소했다.
• 이미지 플립은 이미지 특정 편향을 효과적으로 중화시켰다(공격 성공률 5–10%에서 70–75%로 감소), 그러나 유니버설 편향에는 효과가 없었으며, 그 일반성 덕분에 플립 후에도 여전히 효과를 보였다.