[논문 리뷰] Defeating Image Obfuscation with Deep Learning

Richard McPherson, Reza Shokri외 1명|arXiv (Cornell University)|2016. 09. 01.

Digital Media Forensic Detection참고 문헌 8인용 수 83

한 줄 요약

이 논문은 깊이 있는 신경망이 모자이징, 흐림 처리, 또는 P3 스타일의 JPEG 계수 암호화로 가림된 이미지에서 얼굴, 물체, 손글씨 숫자를 성공적으로 복원할 수 있음을 보여준다. 인간 수준의 인식 불가능성에도 불구하고 얼굴 인식 과제에서 최대 97%의 정확도를 달성하며, 이러한 가림 기법이 현대 인공지능에 대비해 신뢰할 수 있는 프라이버시 보장을 제공하지 못한다는 점을 드러낸다.

ABSTRACT

We demonstrate that modern image recognition methods based on artificial neural networks can recover hidden information from images protected by various forms of obfuscation. The obfuscation techniques considered in this paper are mosaicing (also known as pixelation), blurring (as used by YouTube), and P3, a recently proposed system for privacy-preserving photo sharing that encrypts the significant JPEG coefficients to make images unrecognizable by humans. We empirically show how to train artificial neural networks to successfully identify faces and recognize objects and handwritten digits even if the images are protected using any of the above obfuscation techniques.

연구 동기 및 목표

• 현재의 딥 러닝 모델이 일반적인 프라이버시 보존 기법을 사용해 가로막힌 이미지에서 민감한 정보를 유추할 수 있는지 조사하기.
• 모자이징, 흐림 처리, P3 암호화가 신경망에 의한 자동 인식에 대비해 프라이버시를 얼마나 효과적으로 보호하는지 평가하기.
• 인간이 인식할 수 없을 정도로 가림된 이미지가 프라이버시 보존을 의미한다는 가정을 도전하기, 특히 고도로 발전한 인공지능에 대비하여.
• 가로막힌 이미지에 잔류하는 상관관계를 딥 러닝 모델이 얼마나 활용할 수 있는지 정량화하기.

제안 방법

• 표준 이미지 인식 데이터셋(MNIST, CIFAR-10, AT&T, FaceScrub)의 가로막힌 버전으로 깊이 합성 신경망(CNN)을 훈련시켰다.
• 세 가지 가로막기 기법을 적용: 다양한 창 크기의 모자이징(픽셀화), 유튜브에서 사용하는 얼굴 흐림 처리, 중요한 JPEG 계수에 대한 P3 암호화.
• 사전 특징 설계 없이, 가로막힌 이미지에서 직접 표현을 학습하기 위해 엔드 투 엔드 훈련을 사용했다.
• 신경망이 가시적 요소와 가로막힌 콘텐츠 간의 숨겨진 상관관계(예: 무시할 만한 계수와 중요한 JPEG 계수 간의 관계)를 자동으로 발견할 수 있는 능력을 활용했다.
• 분류 과제에서 표준 지표인 상위 1위 및 상위 5위 정확도를 사용해 모델 성능을 평가했다.
• 공격의 통계적 유의성을 입증하기 위해 무작위 추측 기반 베이스라인과 결과를 비교했다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 인간에게 인식 불가능하게 모자이징되거나 흐릿하게 처리된 이미지에서 얼굴과 물체를 정확하게 인식할 수 있는가?
• RQ2 JPEG 계수에 대한 P3 스타일 암호화가 신경망 기반 추론에 대비해 프라이버시를 얼마나 잘 보존하는가?
• RQ3 구조적이고 시각적으로 일관된 가로막힌 이미지에 원본 이미지 콘텐츠에 대한 정보가 얼마나 잔류하는가?
• RQ4 신경망이 가로막힌 콘텐츠를 복원하는 성능이 가로막기의 종류와 강도에 따라 달라지는가?
• RQ5 한 데이터셋에서 훈련된 모델이 다른 데이터셋의 가로막힌 콘텐츠를 인식하는 데 일반화 가능한가? 이는 보편적인 취약성을 시사한다.

주요 결과

• MNIST 데이터셋에서, 깊이 신경망은 임계값 20인 P3 암호화된 이미지에서 손글씨 숫자를 79.8%의 정확도로 인식했으며, 이는 10%의 무작위 추측 기반 베이스라인을 크게 초월했다.
• 8×8 모자이징을 적용한 경우, MNIST에서 모델은 80% 이상의 정확도를 기록했으며, 다시 한 번 무작위 추측을 크게 뛰어넘었다.
• AT&T 얼굴 데이터셋에서, 모델은 임계값 20인 P3 암호화된 이미지에 대해 97%의 정확도를 달성했고, 모자이징에 대해서는 95% 이상의 정확도를 기록했으며, 무작위 추측 기반 2.5%에 비해 뚜렷하게 높았다.
• FaceScrub 데이터셋에서, 16×16 모자이징에 대해 57%의 정확도, P3 암호화(임계값 20)에 대해선 40%의 정확도를 기록했으며, 무작위 추측 기반 0.19%에 비해 유의미하게 높았다.
• CIFAR-10에서, P3(임계값 20)에 대해 75%의 정확도, 4×4 모자이징에 대해선 70%, 8×8 모자이징에 대해선 50%의 정확도를 기록했으며, 모두 10%의 기준선을 훨씬 뛰어넘었다.
• 이 공격의 성공 요인은 신경망이 가로막힌 기법의 메커니즘을 사전에 알지 못해도, 가시적 요소와 가로막힌 특징 간의 숨겨진 상관관계를 학습할 수 있다는 데 있다.