[논문 리뷰] Combating the Elsagate phenomenon: Deep learning architectures for disturbing cartoons

Akari Ishikawa, Edson Bollis외 1명|arXiv (Cornell University)|2019. 04. 18.

Sexuality, Behavior, and Technology참고 문헌 20인용 수 4

한 줄 요약

이 논문은 이동 기기 최적화된 신경망을 사용한 전이 학습을 통해 만화에서 엘사게이트 콘텐츠를 탐지하기 위한 최초의 딥러닝 기반 솔루션을 제안한다. 연구자들은 공개된 엘사게이트 데이터셋(감성 콘텐츠 1,396건 대비 비감성 콘텐츠 1,898건)을 소개하며, 정적 및 운동 특징에 대해 나스넷을 미세조정한 결과 92.6%의 정확도를 달성하여 비디오 플랫폼에서 끔찍한 만화 콘텐츠를 방지하는 데 있어 기초적인 단계를 마련했다.

ABSTRACT

Watching cartoons can be useful for children's intellectual, social and emotional development. However, the most popular video sharing platform today provides many videos with Elsagate content. Elsagate is a phenomenon that depicts childhood characters in disturbing circumstances (e.g., gore, toilet humor, drinking urine, stealing). Even with this threat easily available for children, there is no work in the literature addressing the problem. As the first to explore disturbing content in cartoons, we proceed from the most recent pornography detection literature applying deep convolutional neural networks combined with static and motion information of the video. Our solution is compatible with mobile platforms and achieved 92.6% of accuracy. Our goal is not only to introduce the first solution but also to bring up the discussion around Elsagate.

연구 동기 및 목표

• 유튜브와 같은 비디오 플랫폼에서 어린이 캐릭터가 폭력적이거나 기괴한 상황에 등장하는 끔찍한 만화 콘텐츠인 엘사게이트 콘텐츠에 대한 연구 부족을 해결하기 위해.
• 딥러닝 아키텍처를 활용해 실용적이고 이동 기기 호환 가능한 솔루션을 개발하여 엘사게이트 영상 탐지하기 위해.
• 미래 연구를 가능하게 하기 위해 285시간 분량의 영상 콘텐츠를 포함한 최초의 공개 가능한 엘사게이트 데이터셋을 제공하기 위해.
• 경량화되고 이동 기기 최적화된 딥 신경망의 성능을 만화에서 민감한 콘텐츠 탐지에 대해 평가하기 위해.
• 엘사게이트 현상과 그가 어린이 안전에 끼칠 수 있는 잠재적 영향에 대해 학술적 및 대중적 논의를 시작하기 위해.

제안 방법

• 저자들은 영상 클립에서 공간적(프레임 수준) 및 시간적(운동) 특징을 추출하는 엔드 투 엔드 파이프라인을 설계하였다.
• 정적 및 운동 특징 표현에 대해 네 가지 이동 기기 최적화된 딥 신경망(GoogLeNet, SqueezeNet, MobileNetV2, NASNet)을 평가하였다.
• 이미지넷 사전 훈련 모델을 사용한 전이 학습을 수행한 후, 엘사게이트 데이터셋에 대해 미세조정하여 특정 탐지 작업에 적합하도록 하였다.
• 분류 성능 향상을 위해 프레임 및 운동 특징의 후기 융합을 탐색하였다.
• 표준 평가 지표인 정확도와 F2-스코어를 사용하여 모델를 훈련 및 평가하였으며, 데이터 분포 변화에 대한 강건성을 중시하였다.
• 모델 일반화 능력을 검증하기 위해 테스트 세트를 사용하였으며, 일부 모델에서 성능 저하가 발생하여 최종적으로 NASNet을 선택하였다.

실험 결과

연구 질문

• RQ1 형식적인 정의가 없고 비감성 콘텐츠와 높은 시각적 유사성을 가지는 상황에서 딥러닝 모델이 엘사게이트 콘텐츠를 효과적으로 탐지할 수 있는가?
• RQ2 효율성을 유지하면서도 끔찍한 만화 콘텐츠 탐지에 가장 우수한 성능을 보이는 이동 기기 최적화된 딥 신경망 아키텍처는 무엇인가?
• RQ3 정적 프레임 특징과 운동 특징은 엘사게이트 탐지에 어떤 기여를 하는가?
• RQ4 미세조정된 모델가 새로운 데이터에 얼마나 잘 일반화되는가, 특히 데이터 분포 변화가 발생할 경우에 대해 어느 정도인가?
• RQ5 엘사게이트 탐지에서 잘못 분류되는 주요 원인은 무엇이며, 이는 콘텐츠의 주관성과 영상 품질과 어떻게 관련이 있는가?

주요 결과

• 엘사게이트 데이터셋에 대해 미세조정된 나스넷 아키텍처가 가장 높은 테스트 정확도 92.6%와 F2-스코어 88.7%를 기록하여 다른 모델들을 압도하였다.
• SqueezeNet는 훈련 세트에서는 96.1%의 정확도를 기록했지만, 테스트 세트에서는 62.0%로 급격히 떨어져 심각한 과적합과 낮은 일반화 능력을 보였다.
• NASNet는 강력한 적응 능력을 보였으며, 파rameter 수가 절반인 GoogLeNet조차도 뛰어넘는 95.3%의 정확도와 92.9%의 F2-스코어를 기록하였다.
• 거짓 양성 및 거짓 음성은 주로 보육원 노래나 수를 세는 영상에서 가장 흔했으며, 낮은 제작 품질이나 표현력 있는 콘텐츠로 인해 주관적으로 엘사게이트로 분류되기 때문이다.
• 운동 특징가 정적 프레임 특징만으로도 성능 향상이 크게 이루어지지 않아, 정적 시각적 신호만으로도 탐지에 충분하다는 것을 시사한다.
• 연구 결과, 모델 성능가 데이터 분포 변화에 매우 민감함을 드러내며, 실세계 환경에서의 구현을 위해 강건하고 일반화 능력이 뛰어난 아키텍처가 필요함을 강조한다.