[논문 리뷰] Towards Evaluating Gaussian Blurring in Perceptual Hashing as a Facial Image Filter

Yigit Alparslan, Alparslan, Ken외 2명|arXiv (Cornell University)|2020. 02. 01.

Digital Media Forensic Detection참고 문헌 10인용 수 4

한 줄 요약

이 논문은 얼굴 이미지에서 자르기, 회전, 텍스트 주석과 같은 악성 이미지 변형을 탐지하는 데 있어, 인지 해싱 전에 가우시안 블러링을 적용하는 것이 성능 향상에 기여하는지 조사한다. Yale B 확장 얼굴 데이터셋을 사용하여, 블러링이 정확도를 약간만 향상시킴(자르기 이미지에서 3.6% 향상)을 확인했으며, 주로 주석이 추가된 이미지에서는 DCT 기반 해싱이 평균 해싱보다 우수했지만, 전체적으로는 각도 변형 공격에 대해 성능 향상이 제한적이었다.

ABSTRACT

With the growth in social media, there is a huge amount of images of faces available on the internet. Often, people use other people's pictures on their own profile. Perceptual hashing is often used to detect whether two images are identical. Therefore, it can be used to detect whether people are misusing others' pictures. In perceptual hashing, a hash is calculated for a given image, and a new test image is mapped to one of the existing hashes if duplicate features are present. Therefore, it can be used as an image filter to flag banned image content or adversarial attacks --which are modifications that are made on purpose to deceive the filter-- even though the content might be changed to deceive the filters. For this reason, it is critical for perceptual hashing to be robust enough to take transformations such as resizing, cropping, and slight pixel modifications into account. In this paper, we would like to propose to experiment with effect of gaussian blurring in perceptual hashing for detecting misuse of personal images specifically for face images. We hypothesize that use of gaussian blurring on the image before calculating its hash will increase the accuracy of our filter that detects adversarial attacks which consist of image cropping, adding text annotation, and image rotation.

연구 동기 및 목표

• 인지 해싱의 전처리 단계로 가우시안 블러링의 효과를 평가하여 얼굴 이미지 오용 탐지에 기여하는지 확인하는 것.
• 블러링이 자주 발생하는 악성 이미지 변형(예: 자르기, 회전, 텍스트 주석)에 대한 내성성을 향상시키는지 평가하는 것.
• 악성 조건 하에서 다양한 인지 해싱 기법(DCT 및 평균 해싱)의 성능을 비교하는 것.
• 특정 얼굴 이미지 환경에서 이미지 전처리(블러링)가 해시 유사도 탐지 정확도에 미치는 영향을 조사하는 것.
• 소규모 시각적 변형이 있더라도 인지 해싱이 개인 이미지의 무단 사용을 신뢰성 있게 탐지할 수 있는지 여부를 확인하는 것.

제안 방법

• 얼굴 이미지 실험에 사용하기 위해 Yale B 확장 얼굴 데이터셋(28명의 주제당 576개 자세)을 활용.
• 기본 인지 해시를 원본 이미지에 대해 이산余弦변환(DCT) 및 평균 해싱 기법을 사용해 계산.
• 해시 계산 이전에 이미지에 가우시안 블러링을 적용하여 '블러드' 기준 해시를 추가로 생성.
• 자르기(원본의 15%), 180° 및 45° 회전, 텍스트 주석(예: ' copyrighted ')을 통해 악성 테스트 이미지를 생성.
• 모든 악성 테스트 이미지에 대해 인지 해시를 계산하고, 해밍 거리 기반으로 기준 해시 및 블러드 기준 해시와 비교.
• 다양한 임계값 설정 하에서 해시 비트 길이(32비트 및 64비트)와 해싱 유형(DCT 대비 평균)에 따라 탐지 정확도 평가.

실험 결과

연구 질문

• RQ1 인지 해싱 전에 가우시안 블러링을 적용하는 것이 악성 얼굴 이미지 변형 탐지 정확도를 향상시키는가?
• RQ2 다양한 악성 변형(자르기, 회전, 주석) 하에서 DCT 대비 평균 해싱의 인지 해싱 방법 성능은 어떻게 되는가?
• RQ3 해시 비트 길이(32비트 대비 64비트)가 얼굴 이미지 중복 탐지 정확도에 어떤 영향을 미치는가?
• RQ4 이미지 회전(180° 및 45°)이 인지 해싱 성능을 얼마나 떨어뜨리며, 블러잉이 이를 완화하는가?
• RQ5 텍스트 주석이 인지 해시 유사도에 크게 영향을 미치는가, 그리고 블러잉이 이러한 왜곡에 대한 내성성을 향상시키는가?

주요 결과

• 해시 계산 이전에 가우시안 블러링을 적용하더라도 대부분의 악성 변형에 대해 전체적인 탐지 정확도 향상이 유의미하지 않았다.
• 유일하게 측정 가능한 향상은 64비트 평균 해싱에서 자르기 이미지의 정확도가 기준값(14.3%)에서 블러드 처리 후 17.9%로 3.6% 향상된 것뿐이었다.
• 주석이 추가된 이미지에서는 DCT 기반 해싱이 평균 해싱보다 성능이 뛰어나며, 다양한 임계값 설정에서 더 높은 정확도를 기록했다.
• 180°로 회전된 이미지의 경우 64비트 평균 해싱로 25–30%의 정확도를 기록했지만, 45°로 회전된 이미지의 경우 정확도는 낮았고 DCT 기반 방법의 성능도 유사하게 낮았다.
• 45°로 회전된 이미지의 경우, 32비트 및 64비트 DCT 및 평균 해싱 모두 거의 0%의 정확도를 기록하여 내성성이 매우 낮음을 확인했다.
• 64비트 해시는 대부분의 경우 32비트 해싱보다 뛰어난 성능을 보였으며, 특히 자르기 및 주석이 추가된 이미지에서 두드러졌다.