[논문 리뷰] Privacy Prediction of Images Shared on Social Media Sites Using Deep Features

Ashwini Tonge, Cornelia Caragea|arXiv (Cornell University)|2015. 10. 29.

Privacy-Preserving Technologies in Data참고 문헌 21인용 수 9

한 줄 요약

이 논문은 사전 훈련된 합성곱 신경망에서 추출한 깊이 특징과 자동 생성된 깊이 이미지 태그를 활용하여 소셜 미디어에서 공유되는 이미지의 프라이버시 설정을 예측하는 딥러닝 기반 접근법을 제안한다. 기존의 SIFT 및 GIST와 같은 전통적 특징과 사용자 제공 태그보다 성능이 뛰어나며, WordNet을 통한 의미적 태그 강화를 통해 깊이 특징과 결합함으로써 83.14%의 정확도를 달성한다.

ABSTRACT

Online image sharing in social media sites such as Facebook, Flickr, and Instagram can lead to unwanted disclosure and privacy violations, when privacy settings are used inappropriately. With the exponential increase in the number of images that are shared online every day, the development of effective and efficient prediction methods for image privacy settings are highly needed. The performance of models critically depends on the choice of the feature representation. In this paper, we present an approach to image privacy prediction that uses deep features and deep image tags as feature representations. Specifically, we explore deep features at various neural network layers and use the top layer (probability) as an auto-annotation mechanism. The results of our experiments show that models trained on the proposed deep features and deep image tags substantially outperform baselines such as those based on SIFT and GIST as well as those that use "bag of tags" as features.

연구 동기 및 목표

• 페이스북, 플리커, 인스타그램과 같은 소셜 미디어 플랫폼에서 개인 이미지가 통제되지 않은 채로 공유되면서 증가하는 프라이버시 침해 위험을 해결하기 위해.
• 시각적 및 의미적 콘텐츠를 바탕으로 이미지가 공개일지 또는 비공개일지 자동으로 정확하게 예측할 수 있는 방법을 개발하기 위해.
• SIFT 및 GIST와 같은 수작업으로 설계된 특징에 의존하는 기존 프라이버시 예측 모델은 비공개 클래스에서 낮은 성능을 보이므로 이를 개선하기 위해.
• 사전 훈련된 깊이 신경망의 여러 층에서 유도된 깊이 특징의 효과를 탐색하고, 최종 층의 확률 출력을 활용해 이미지 태그를 자동으로 주석 처리하기 위해.
• 태그의 의미적 특성과 공존 패턴을 분석하여 WordNet을 활용한 의미적 강화를 통해 프라이버시 예측 성능을 향상시키기 위해.

제안 방법

• ImageNet의 ILSVRC-2012 데이터셋에 대해 사전 훈련된 8층의 깊이 신경망을 사용하여 다수의 중간 층과 최종 소프트맥스 층에서 깊이 특징을 추출한다.
• 최종 층의 1000개의 ImageNet 클래스에 대한 확률 분포를 자동 주석 생성 메커니즘으로 간주하여 깊이 이미지 태그를 생성한다.
• 최종 층의 상위-k 확률 점수를 깊이 태그로 추출하고, 이를 프라이버시 분류를 위한 입력 특징으로 사용한다.
• 깊이 특징과 사용자 제공 태그를 결합하고, WordNet에서 상위어, 하위어, 동의어를 추가하여 의미적 강화를 통해 특징 표현을 향상시킨다.
• 태그 공존 그래프 분석을 통해 공개 이미지와 비공개 이미지 간을 구분하는 맥락 의존적 태그 연관성을 식별한다.
• 결합된 특징 세트를 기반으로 이진 분류기(SVM, 랜덤 포레스트 등)를 훈련하고 평가하여 이미지 프라이버시 설정을 예측한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 CNN에서 유도된 깊이 특징이 SIFT 및 GIST와 같은 전통적 수작업 특징보다 이미지 프라이버시 설정 예측에서 더 우수한 성능을 보일 수 있는가?
• RQ2 신경망의 최종 층 확률에서 유도된 자동 생성 깊이 태그는 프라이버시 예측 정확도 향상에 얼마나 효과적인가?
• RQ3 WordNet을 활용한 태그 의미적 강화(상위어, 동의어, 하위어 포함)는 모델 성능 향상에 어느 정도 기여하는가?
• RQ4 공개 및 비공개로 공유된 이미지 간의 태그 및 특징에서 두드러지는 의미적 및 시각적 패턴은 무엇인가?
• RQ5 개별 태그가 양 클래스에 모두 공통적으로 존재할 경우, 태그의 공존 패턴은 프라이버시 예측의 모호성을 해결하는 데 기여하는가?

주요 결과

• 깊이 특징과 깊이 이미지 태그를 기반으로 훈련된 모델은 83.14%의 정확도를 기록하여 SIFT, GIST, 사용자 제공 태그를 사용한 기준 모델보다 유의미하게 뛰어난 성능을 보였다.
• 사전 훈련된 CNN의 최종 층에서 유도된 깊이 특징과 상위 10개의 확률 점수를 태그로 사용한 조합이 테스트된 모든 특징 조합 중에서 가장 높은 성능을 기록했다.
• 태그 공존 분석 결과, 겹치는 태그인 'people'(사람)과 'photo'(사진)는 맥락에 따라 다른 연관성을 보였다: 'photo'는 비공개 이미지에서는 'portrait'(포트레이트)와 'bikini'(비키니)와 함께 자주 등장하지만, 공개 이미지에서는 'nature'(자연)와 'travel'(여행)과 함께 자주 나타났다.
• WordNet 상위어를 활용한 의미적 강화는 성능 향상에 기여하지 않았으며, 깊이 태그 + 사용자 태그 기반 모델이 83.14%의 정확도를 달성했고, 상위어 추가로 인해 F1-스코어가 0.5% 감소(0.822로)했다.
• 비공개 이미지에서는 사람, 의복(예: 'bikini', 'maillot') 및 포트레이트 관련 태그가 더 자주 등장하는 반면, 공개 이미지에서는 자연, 풍경, 여행 관련 용어가 두드러지게 나타났다.
• 본 연구는 전통적인 시각적 기술 및 사용자 생성 태그보다 깊이 특징과 깊이 태그가 프라이버시 예측 작업에 더 유용하다는 것을 입증했다.