[논문 리뷰] Rating for Parents: Predicting Children Suitability Rating for Movies Based on Language of the Movies

Mahsa Shafaei, Niloofar Safi Samghabadi외 2명|arXiv (Cornell University)|2019. 08. 21.

Hate Speech and Cyberbullying Detection참고 문헌 20인용 수 8

한 줄 요약

이 논문은 영화 각본의 장르, 대화, 정서적 내용을 동시에 분석하여 어린이 대상 적합성을 예측하는 RNN 기반 딥러닝 모델을 제안한다. 모델은 78%의 가중 F1 스코어를 기록하며 기존 기계학습 방법보다 6% 높은 성능을 보였고, MPAA 등급이 부여된 7,000편의 영화 각본으로 구성된 최초의 대규모 데이터셋을 제공한다.

ABSTRACT

The film culture has grown tremendously in recent years. The large number of streaming services put films as one of the most convenient forms of entertainment in today's world. Films can help us learn and inspire societal change. But they can also negatively affect viewers. In this paper, our goal is to predict the suitability of the movie content for children and young adults based on scripts. The criterion that we use to measure suitability is the MPAA rating that is specifically designed for this purpose. We propose an RNN based architecture with attention that jointly models the genre and the emotions in the script to predict the MPAA rating. We achieve 78% weighted F1-score for the classification model that outperforms the traditional machine learning method by 6%.

연구 동기 및 목표

• 영화 각본을 바탕으로 자동으로 MPAA 등급을 예측하는 시스템을 개발하여 부모의 지도 및 초기 제작 결정 지원을 돕는 것.
• 수동 평가 방식의 한계를 해결하기 위해, 이는 느리고 확장성이 없으며 제작 후에 적용된다는 점.
• 자동 예측 모델의 벤치마킹을 가능하게 하기 위해 MPAA 등급이 부여된 영화 각본 데이터셋을 구축하는 것.
• 장르, 정서적 내용, 대화가 MPAA 등급 예측에 미치는 상호 영향을 조사하는 것.
• 정적 악의어 목록에 의존하는 것에서 벗어나, 딥러닝을 통해 언어적 맥락을 종단 간(end-to-end)으로 모델링하는 것.

제안 방법

• 영화 각본의 캐릭터 간 대화 흐름을 모델링하기 위해 순차 기반 RNN 아키텍처에 주의 메커니즘을 적용한다.
• RNN에 장르 임베딩과 정서 임베딩(대화에서 정서 감지 결과)을 보조 입력으로 통합한다.
• 공격적인 단어의 사전 정의된 어휘집에 의존하지 않고, 원시 텍스트에서 종단 간 학습을 수행한다.
• 모델을 5개의 MPAA 등급 카테고리(G, PG, PG-13, R, NC-17)로 분류하도록 훈련한다.
• 주의 가중치를 활용해 모델 예측을 해석하고, 잘못 분류된 예시에서 중요한 단어를 분석한다.
• 기존의 임계값 기반 악의어 목록을 사용한 전통적 기계학습 기반 모델과 성능을 비교한다.

실험 결과

연구 질문

• RQ1 종단 간 딥러닝 모델이 영화 각본만을 사용하여 MPAA 등급을 정확히 예측할 수 있는가?
• RQ2 대화의 장르와 정서적 내용은 모델의 대상 적합성 예측 능력에 어떤 영향을 미치는가?
• RQ3 맥락적·의미적 제약으로 인해 전통적인 악의어 목록이 MPAA 등급 예측에 얼마나 실패하는가?
• RQ4 모델의 주의 메커니즘이 MPAA 등급 기준과 일치하는 의미 있는 언어 패턴을 부각하는가?
• RQ5 제안된 모델이 기존 기계학습 기반 베이스라인에 비해 MPAA 등급 예측에서 뛰어난 성능을 보일 수 있는가?

주요 결과

• 주의 메커니즘을 갖춘 제안된 RNN 기반 모델은 78%의 가중 F1 스코어를 기록하며 기존 기계학습 방법보다 6% 향상된 성능을 보였다.
• 모델의 주의 메커니즘이 NC-17 등급 영화 각본에서 'fuck'이나 'motherfucker'와 같은 맥락적으로 관련된 단어를 강조함으로써 언어적 맥락에 민감함을 보였다.
• 부정적 단어의 빈도는 더 엄격한 MPAA 등급일수록 크게 증가했으며, NC-17 등급 각본은 1.68%의 악의어 비율을 보였고, G 등급 영화는 0.17%에 그쳤다.
• 잘못 분류된 예시는 종종 주의 가중치가 높은 중립어를 포함하고 있어, 자원이 적은 클래스에서의 데이터 희소성 또는 모호성의 가능성을 시사한다.
• 악의어 빈도만으로는 정확한 예측이 불가능하며, 맥락의 다양성과 장르 간 의미적 영향의 차이로 인해 충분하지 않다.
• 실증 결과에 따르면 장르와 정서적 내용이 중요한 예측 변수이며, 정서 강도와 주제적 내용이 등급 분류에 의미 있는 기여를 한다.