[논문 리뷰] A Multimodal CNN-based Tool to Censure Inappropriate Video Scenes

Pedro V. A. de Freitas, Paulo Renato da Costa Mendes외 5명|arXiv (Cornell University)|2019. 11. 10.

Digital Media Forensic Detection참고 문헌 8인용 수 5

한 줄 요약

이 논문은 시각적 및 청각적 특징을 모두 활용하여 비적절한 영상 장면을 감지하고 자동으로 블러링하는 다중모odal CNN 기반 시스템을 제안한다. 비디오 프레임과 오디오에 대해 사전 훈련된 CNN을 활용한 전이 학습을 통해, 적절한 콘텐츠에 대해 98.95%의 F1 스코어, 비적절한 콘텐츠에 대해 98.94%의 F1 스코어를 달성하여 유해한 세그먼트를 정밀하게 국소화하고 블러링함으로써 정상 콘텐츠는 그대로 유지한다.

ABSTRACT

Due to the extensive use of video-sharing platforms and services for their storage, the amount of such media on the internet has become massive. This volume of data makes it difficult to control the kind of content that may be present in such video files. One of the main concerns regarding the video content is if it has an inappropriate subject matter, such as nudity, violence, or other potentially disturbing content. More than telling if a video is either appropriate or inappropriate, it is also important to identify which parts of it contain such content, for preserving parts that would be discarded in a simple broad analysis. In this work, we present a multimodal~(using audio and image features) architecture based on Convolutional Neural Networks (CNNs) for detecting inappropriate scenes in video files. In the task of classifying video files, our model achieved 98.95\% and 98.94\% of F1-score for the appropriate and inappropriate classes, respectively. We also present a censoring tool that automatically censors inappropriate segments of a video file.

연구 동기 및 목표

• 전체 영상을 폐기하지 않고 특정 비적절한 장면을 식별하고 블러링하는 도전 과제를 해결하기 위해.
• 딥 러닝을 활용해 시각적 및 청각적 모odal을 통합함으로써 기존의 영상 분류 방법을 향상시키기 위해.
• 유해한 세그먼트만 자동으로 블러링하면서도 적절한 콘텐츠는 그대로 유지하는 실용적인 도구를 개발하기 위해.
• 전체 영상 분류가 아닌 세그먼트 수준의 감지를 통해 콘텐츠 모니터링에서의 오소거림을 줄이기 위해.
• 전쟁 기록영화 등 민감하지만 비방적이지 않은 콘텐츠를 포함한 교육적 또는 정보성 영상에 접근할 수 있도록, 비적절한 장면만 선택적으로 블러링할 수 있도록 하기 위해.

제안 방법

• 시스템은 세분화된 분석을 위해 영상을 5초 단위로 세그먼트로 분할한다.
• 두 개의 사전 훈련된 CNN(백본)을 사용한다: 하나는 영상 프레임에서 시각적 특징을 추출하고, 다른 하나는 오디오 트랙에서 청각적 특징을 추출한다.
• ImageNet과 AudioSet의 특징을 활용하여 데이터셋에 대해 백본을 미세조정하기 위해 전이 학습을 적용한다.
• 각 영상 세그먼트에 대해 두 모달의 특징을 결합하여 단일 특징 벡터를 생성한다.
• 얕은 완전 연결 분류기가 다중모달 특징을 통합하여 세그먼트가 적절한지 비적절한지 예측한다.
• 블러링을 위해, 예측된 비적절한 세그먼트의 프레임에 가우시안 블러를 적용하고 오디오는 무음 처리한다.

실험 결과

연구 질문

• RQ1 시각적 및 청각적 특징을 통합함으로써 다중모달 CNN 모델이 비적절한 영상 장면을 효과적으로 감지할 수 있는가?
• RQ2 비적절한 영상 콘텐츠를 분류할 때, 다중모달 접근법은 단일모달 방법(예: 이미지 전용)에 비해 어떻게 성능을 냈는가?
• RQ3 모델이 세그먼트 수준에서 비적절한 콘텐츠를 어느 정도 정확하게 국소화할 수 있는가? 이는 선택적 블러링을 가능하게 한다.
• RQ4 제안된 도구는 비적절한 세그먼트만 효과적으로 블러링하면서도 적절한 영상 콘텐츠의 무결성을 유지할 수 있는가?
• RQ5 사용자 업로드 영상 또는 민감한 콘텐츠를 포함한 교육용 영상와 같은 상황에서 모델의 실제 적용 가능성은 어떠한가?

주요 결과

• 모델은 적절한 영상 세그먼트에 대해 테스트 세트에서 98.95%의 F1 스코어, 비적절한 세그먼트에 대해 98.94%의 F1 스코어를 기록하여 높은 정밀도와 재현율을 보였다.
• 20중 교차검증에서 낮은 표준편차를 보이며 강건한 일반화 능력을 입증하여 일관된 성능을 보였다.
• 비적절한 콘텐츠에 대한 F1 스코어는 적절한 콘텐츠에 비해 略로 낮았지만 여전히 98.9% 이상이었으며, 해로운 자료에 대한 강력한 감지 능력을 보였다.
• 도구는 예측된 비적절한 세그먼트에만 가우시안 블러를 적용하고 오디오를 무음 처리함으로써 나머지 영상 부분은 그대로 유지하면서 정확하게 블러링을 수행하였다.
• 사용 사례 시연을 통해 시스템은 영상 분할, 분류, 블러링을 자동으로 파이프라인화하여 1시간 분량의 영상도 처리할 수 있었다.
• 복잡한 장면에서 오분류 위험을 줄이기 위해 시각적 및 청각적 신호를 모두 활용함으로써, 단일모달 접근법보다 모델이 뛰어난 성능을 보였다.