[논문 리뷰] Predicting Movie Genres Based on Plot Summaries

Quan Hoang|arXiv (Cornell University)|2018. 01. 15.

Video Analysis and Summarization참고 문헌 14인용 수 11

한 줄 요약

이 논문은 플롯 서머리에서 다중 레이블 영화 장르 분류를 위한 딥러닝 접근법을 제안한다. Gated Recurrent Unit (GRU) 네트워크를 사용하며, 확률적 분류와 학습된 확률 임계치를 적용한다. 이 방법은 250,000편 이상의 영화 데이터셋에서 Jaccard Index 50.0%, F-score 0.56, 80.5% 히트 레이트를 기록하여 Naive Bayes, Word2Vec+XGBoost, 및 기타 다중 레이블 전략보다 뛰어난 성능을 보였다.

ABSTRACT

This project explores several Machine Learning methods to predict movie genres based on plot summaries. Naive Bayes, Word2Vec+XGBoost and Recurrent Neural Networks are used for text classification, while K-binary transformation, rank method and probabilistic classification with learned probability threshold are employed for the multi-label problem involved in the genre tagging task.Experiments with more than 250,000 movies show that employing the Gated Recurrent Units (GRU) neural networks for the probabilistic classification with learned probability threshold approach achieves the best result on the test set. The model attains a Jaccard Index of 50.0%, a F-score of 0.56, and a hit rate of 80.5%.

연구 동기 및 목표

• 플롯 서머리에서 다중 레이블 영화 장르 예측의 과제를 해결하기 위해, 일반적으로 IMDB 제출을 통해 수작업으로 처리되는 작업을 다루기 위함이다.
• 텍스트 기반 장르 분류를 위한 다양한 기계학습 방법, 즉 Naive Bayes, Word2Vec+XGBoost, RNN 등을 평가하고 비교하기 위함이다.
• 확률적 분류와 학습된 확률 임계치를 조합하여 다중 레이블 분류 문제의 성능을 향상시키기 위함이다.
• 특히 GRU를 포함한 딥 네ural 네트워크가 영화 플롯 서머리의 순차적이고 맥락적인 패턴을 얼마나 잘 포착하는지 조사하기 위함이다.
• 희귀어 처리 및 클래스 불균형과 같은 현재 접근법의 한계를 밝혀내고, 이를 개선하기 위한 해결책을 제안하기 위함이다.

제안 방법

• 플롯 서머리의 순차적 의존성을 모델링하기 위해 Gated Recurrent Unit (GRU) 신경망을 사용하여 장르 예측을 수행한다.
• 확률적 분류 프레임워크를 사용하며, 모델은 각 장르에 대한 확률을 출력하고, 학습된 임계치가 최종 예측 레이블을 결정한다.
• 진짜 레이블과 거짓 레이블의 순서가 잘못 지정되는 것을 최소화하기 위해, 최소 제곱 회귀 방법을 사용해 확률 임계치를 최적화한다.
• 플롯 서머리의 단어를 표현하기 위해 사전에 학습된 Word2Vec의 워드 임베딩을 사용하며, 이를 GRU 모델에 입력한다.
• 다중 레이블 문제에 대해 세 가지 전략을 적용한다: k-이진 변환, 순위 기반 레이블링, 그리고 확률적 분류와 임계치 학습.
• 모델은 약 250,000편 이상의 영화로 구성된 대규모 데이터셋에서 학습 및 평가되며, 레이블이 부여된 장르와 플롯 서머리가 포함되어 있다.

실험 결과

연구 질문

• RQ1 GRU와 같은 딥 리current 신경망이 플롯 서머리에서 다중 레이블 영화 장르를 예측하는 데 있어 기존 기계학습 모델인 Naive Bayes 및 XGBoost보다 우수한 성능을 보일 수 있는가?
• RQ2 확률적 분류와 학습된 확률 임계치를 조합하는 것이 k-이진 변환 또는 순위 기반 방법보다 더 나은 성능을 내는가?
• RQ3 워드 임베딩 표현(예: Word2Vec)과 그 평균화가 장르 분류 모델의 성능에 어떤 영향을 미치는가?
• RQ4 희귀어와 OOV 토큰(UNK)이 모델 성능에 얼마나 큰 영향을 미치며, 맥락 적응 기법이 성능 향상에 기여할 수 있는가?
• RQ5 드라마나 코미디처럼 주로 사용되는 장르가 지배적인 클래스 불균형이 모델의 편향과 예측 성능에 어떤 영향을 미치는가?

주요 결과

• 확률적 분류와 학습된 확률 임계치를 적용한 GRU 기반 모델이 가장 높은 성능을 기록하였으며, Jaccard 지수 50.0%를 달성하였다.
• 모델은 F-score 0.56과 히트 레이트 80.5%를 기록하여, 매 영화마다 적어도 하나의 정확한 장르를 예측하는 데 강력한 성능을 보였다.
• Word2Vec + XGBoost는 워드 임베딩의 평균화가 문서 수준의 의미적 표현을 충분히 포착하지 못해 성능이 열악했다.
• k-이진 변환 및 순위 기반 방법은 특히 모호하거나 겹치는 장르 레이블을 처리하는 데 있어 확률적 임계치 접근법에 비해 성능이 열등했다.
• 희귀어(어휘의 46%가 20회 이하로 나타남)와 UNK 토큰(75%의 토큰)로 인해 표현 학습이 제한되어 모델이 어려움을 겪었다.
• 드라마나 코미디처럼 인기 있는 장르에 대한 클래스 불균형이 모델을 편향시켜, 향후 연구에서는 장기 꼬리 장르 예측 문제를 해결해야 할 필요가 있다.