[논문 리뷰] Applying deep learning to classify pornographic images and videos

Mohamed Moustafa|arXiv (Cornell University)|2015. 11. 28.

Sexuality, Behavior, and Technology참고 문헌 10인용 수 80

한 줄 요약

이 논문은 피부색 또는 SIFT 기반 특징과 같은 수작업으로 설계된 특징에 의존하는 기존 방법들을 능가하는 상태의 기술을 달성하기 위해, 수정된 AlexNet과 GoogLeNet을 사용한 미세조정된 컨volutional 신경망(CNN)을 활용한 딥러닝 접근법을 제안한다. 이 방법은 NPDI 기준 데이터셋에서 94.1%의 최고 성능 정확도를 기록하였다.

ABSTRACT

It is no secret that pornographic material is now a one-click-away from everyone, including children and minors. General social media networks are striving to isolate adult images and videos from normal ones. Intelligent image analysis methods can help to automatically detect and isolate questionable images in media. Unfortunately, these methods require vast experience to design the classifier including one or more of the popular computer vision feature descriptors. We propose to build a classifier based on one of the recently flourishing deep learning techniques. Convolutional neural networks contain many layers for both automatic features extraction and classification. The benefit is an easier system to build (no need for hand-crafting features and classifiers). Additionally, our experiments show that it is even more accurate than the state of the art methods on the most recent benchmark dataset.

연구 동기 및 목표

• 수작업으로 설계된 특징을 요구하지 않고, 이미지 및 영상에서 포르노그래픽 콘텐츠를 자동으로, 종단 간(end-to-end)으로 탐지할 수 있는 시스템을 개발하기 위해.
• 피부색 또는 SIFT 기반 특징과 같은 수작업 특징에 의존하는 기존 방법을 뛰어넘는 분류 정확도 향상을 위해.
• 최근의 NPDI 기준 데이터셋을 활용하여, 특히 미세조정된 CNN 모델의 포르노그래픽 콘텐츠 탐지 성능을 평가하기 위해.
• 개별 CNN 모델(AlexNet 및 GoogLeNet)과 앙상블 융합 전략 간의 효과성을 비교하기 위해.
• 딥러닝 기반 기술이 기존의 기계학습 파ip라인을 뛰어넘어 어른 콘텐츠 탐지에서 어떻게 기여할 수 있는지 탐색하기 위해.

제안 방법

• 저자들은 최종 출력층을 제거하고, 이미지를 '정상' 또는 '포르노'로 분류하기 위한 이진 클래스의 소프트맥스층으로 교체함으로써, AlexNet 및 GoogLeNet 아키텍처를 변형하였다.
• 모델들은 전이 학습(transfer learning)을 통해 NPDI 데이터셋에서 미세조정되었으며, ImageNet에서 사전 학습된 가중치를 활용하여 수렴성과 성능을 향상시켰다.
• 정확도와 강건성을 향상시키기 위해 AlexNet 및 GoogLeNet 분류기의 신뢰도 점수를 평균화하여 구성된 앙상블 모델인 AGNet을 생성하였다.
• 두 번째 앙상블 변형인 AGbNet은 평균화 대신 각 네트워크의 최대 점수를 사용하여, 다른 융합 전략을 테스트하기 위해 개발되었다.
• 정밀도와 재현율 간의 상충 관계를 평가하기 위해 다양한 분류 임계값에서 수신기 작동 특성(ROC) 곡선을 생성하였다.
• 영상 분류 작업은 영상 시퀀스의 모든 关键 프레임에 대해 다수결정법을 적용하여 수행되었으며, 전체 정확도는 오차 없는 5배 교차검증 기반으로 계산되었다.

실험 결과

연구 질문

• RQ1 미세조정된 딥 컨volution 신경망은 기존의 수작업 특징 기반 방법보다 포르노그래픽 이미지 분류에서 더 우수한 성능을 보일 수 있는가?
• RQ2 사전 학습된 ImageNet 모델을 활용한 전이 학습은 NPDI 기준 데이터셋에서 분류 정확도 향상에 기여하는가?
• RQ3 앙상블 학습—특히 다수의 CNN에서 점수를 평균화하거나 최댓값을 취하는 방식—은 분류 성능에 어떤 영향을 미치는가?
• RQ4 더 깊은 아키텍처와 인셉션 모듈을 갖춘 GoogLeNet은 AlexNet보다 포르노그래픽 이미지 분류에서 더 효과적인가?
• RQ5 전체 훈련 대비 미세조정이 CNN 모델의 일반화 능력과 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 AGNet 앙상블 모델은 NPDI 기준 데이터셋에서 최고의 분류 정확도 94.1%를 기록하였으며, 표준편차는 ±2%였다.
• 미세조정된 모델(ANet-FineTune 및 GNet-FineTune)은 전체 훈련된 모델들보다 뚜렷이 뛰어난 성능을 보였으며, 후자는 10%의 거짓 양성 비율에서 87%의 진짜 양성 비율을 달성하였다.
• GoogLeNet 기반 모델(GNet 및 AGNet)은 AlexNet 기반 모델(ANet)보다 일관되게 뛰어난 성능을 보였으며, GNet은 93.7%의 정확도를 기록했고, AGNet은 93.8%의 정확도를 달성하였다.
• AGbNet 변형은 두 네트워크의 최대 점수를 사용하여 94.1%의 정확도를 기록하였으며, 이는 점수 융합 전략이 성능 향상에 기여할 수 있음을 시사한다.
• 모든 딥러닝 기반 분류기들이 기존 최고 수준의 BossaNova 방법(89.5% 및 90.9%)을 모두 능가하여, 이 작업에서 CNN의 우월성을 입증하였다.
• ROC 곡선 분석 결과, 미세조정된 모델들은 낮은 거짓 양성 비율에서도 높은 진짜 양성 비율을 유지함으로써 강력한 일반화 능력과 신뢰성을 보였다.