[논문 리뷰] Google's Cloud Vision API Is Not Robust To Noise

Hossein Hosseini, Baicen Xiao외 1명|arXiv (Cornell University)|2017. 04. 16.

Adversarial Robustness in Machine Learning참고 문헌 16인용 수 11

한 줄 요약

이 논문은 Google Cloud Vision API가 입력 노이즈에 매우 취약하다는 것을 입증한다. 인간 관찰자가 원본 내용을 인지할 수 있는 상황에서도 최소한의 인파르스 노이즈나 가우시안 노이즈를 첨가하기만 해도 API가 이미지를 잘못 분류할 수 있음을 보여준다. 주요 발견은 처리 전에 단순한 노이즈 필터를 적용하면 API의 정확도가 복원된다는 것이다. 이는 기존 모델을 재학습하지 않더라도 강건성을 확보할 수 있음을 시사한다.

ABSTRACT

Google has recently introduced the Cloud Vision API for image analysis. According to the demonstration website, the API "quickly classifies images into thousands of categories, detects individual objects and faces within images, and finds and reads printed words contained within images." It can be also used to "detect different types of inappropriate content from adult to violent content." In this paper, we evaluate the robustness of Google Cloud Vision API to input perturbation. In particular, we show that by adding sufficient noise to the image, the API generates completely different outputs for the noisy image, while a human observer would perceive its original content. We show that the attack is consistently successful, by performing extensive experiments on different image types, including natural images, images containing faces and images with texts. For instance, using images from ImageNet dataset, we found that adding an average of 14.25% impulse noise is enough to deceive the API. Our findings indicate the vulnerability of the API in adversarial environments. For example, an adversary can bypass an image filtering system by adding noise to inappropriate images. We then show that when a noise filter is applied on input images, the API generates mostly the same outputs for restored images as for original images. This observation suggests that cloud vision API can readily benefit from noise filtering, without the need for updating image analysis algorithms.

연구 동기 및 목표

• 적대적 노이즈 변형에 대한 Google Cloud Vision API의 강건성 평가.
• 노이즈가 API가 잘못된 레이블을 생성하거나 객체, 얼굴, 텍스트를 탐지하지 못하도록 속일 수 있는지 조사.
• 손상된 입력에 대해 노이즈 필터링을 전처리로 적용했을 때 API의 성능이 원래 수준으로 복원되는지 확인.
• 노이즈 필터링이 모델 수정 없이도 실용적이고 즉시 적용 가능한 강건성 향상 방법이 될 수 있는지 평가.

제안 방법

• 연구는 ImageNet 및 Faces94 데이터셋의 이미지를 대상으로 인파르스 노이즈와 가우시안 노이즈를 적용하여 변형한다.
• 노이즈의 농도를 다양하게 조절(예: 10%에서 20%까지)하여 API 출력이 원본과 다를 때의 임계점을 테스트한다.
• 가중 평균 필터를 사용해 노이즈가 첨가된 이미지를 복원함으로써 전처리 방어 전략을 시뮬레이션한다.
• 가우시안 노이즈가 첨가된 이미지에 대해 저역통과 필터를 적용하여 복원 효과를 평가한다.
• 원본, 노이즈가 첨가된, 복원된 이미지의 API 출력 레이블을 비교하여 레이블 일관성 평가.
• 이미지 복원 품질을 정량화하기 위해 PSNR를 사용하고, 레이블 유사도를 측정하여 강건성 평가.

실험 결과

연구 질문

• RQ1 이미지에 노이즈를 첨가함으로써 Google Cloud Vision API가 인간의 가시성은 유지하되 완전히 잘못된 레이블을 생성하게 할 수 있는가?
• RQ2 다양한 이미지 유형에서 일관되게 API를 속이기 위해 필요한 노이즈 수준(인파르스 또는 가우시안)은 어느 정도인가?
• RQ3 손상된 입력에 노이즈 필터를 적용하면 API의 원래 레이블링 정확도가 복원되는가?
• RQ4 노이즈 필터링이 모델에 종속되지 않는 실용적인 방어 수단으로서, 모델 재학습 없이도 강건성을 향상시킬 수 있는가?

주요 결과

• ImageNet 이미지에 평균 14.25%의 인파르스 노이즈를 첨가하기만 해도 Google Cloud Vision API가 관련 없는 레이블을 생성하게 된다.
• 얼굴 이미지의 경우, API를 속이기 위해 평균 23.8%의 인파르스 노이즈 농도가 필요하며, 이는 얼굴 인식 작업에서 더 높은 민감성을 보임을 시사한다.
• 노이즈가 첨가된 이미지에서는 인간이 여전히 텍스트를 읽을 수 있음에도 불구하고 API가 텍스트를 탐지하지 못함을 확인하여, 텍스트 인식에서의 취약성을 입증한다.
• 손상된 입력에 노이즈 필터를 적용한 후 API는 원본 이미지와 거의 동일한 레이블을 생성함으로써 기능 복원이 효과적으로 이루어졌음을 보여준다.
• 복원된 이미지는 원본 이미지 대비 각각 33.16 dB, 37.26 dB, 40.05 dB의 PSNR를 기록하여 높은 시각적 정밀도를 확보함을 나타낸다.
• 결과는 노이즈 필터링이 모델 업데이트 없이도 실용적이고 즉시 적용 가능한 대응 조치로서 효과적임을 확인한다.