[논문 리뷰] Feature extraction using Latent Dirichlet Allocation and Neural Networks: A case study on movie synopses

Despoina Christou|arXiv (Cornell University)|2016. 04. 05.

Stock Market Forecasting Methods참고 문헌 66인용 수 3

한 줄 요약

이 논문은 영화 줄거리 분석을 위한 하이브리드 특징 추출 방법을 제안하며, 잠재 Dirichlet 분배(Latent Dirichlet Allocation, LDA)와 신경망을 결합한다. LDA는 경량 모델임에도 불구하고 최신 신경망 기반 문단 임베딩과 유사한 의미 있는 고수준 특징을 추출할 수 있음을 입증하며, CMU 영화 줄거리 코퍼스에서 KNN 및 t-SNE 시각화를 통해 효과적인 영화 유사도 검출과 추천을 달성한다.

ABSTRACT

Feature extraction has gained increasing attention in the field of machine learning, as in order to detect patterns, extract information, or predict future observations from big data, the urge of informative features is crucial. The process of extracting features is highly linked to dimensionality reduction as it implies the transformation of the data from a sparse high-dimensional space, to higher level meaningful abstractions. This dissertation employs Neural Networks for distributed paragraph representations, and Latent Dirichlet Allocation to capture higher level features of paragraph vectors. Although Neural Networks for distributed paragraph representations are considered the state of the art for extracting paragraph vectors, we show that a quick topic analysis model such as Latent Dirichlet Allocation can provide meaningful features too. We evaluate the two methods on the CMU Movie Summary Corpus, a collection of 25,203 movie plot summaries extracted from Wikipedia. Finally, for both approaches, we use K-Nearest Neighbors to discover similar movies, and plot the projected representations using T-Distributed Stochastic Neighbor Embedding to depict the context similarities. These similarities, expressed as movie distances, can be used for movies recommendation. The recommended movies of this approach are compared with the recommended movies from IMDB, which use a collaborative filtering recommendation approach, to show that our two models could constitute either an alternative or a supplementary recommendation approach.

연구 동기 및 목표

• 경량 주제 모델링 기법인 LDA가 영화 줄거리에서 의미 있는 고수준 특징을 추출할 수 있는지 탐색한다.
• 영화 줄거리 간 의미적 유사성을 포괄하는 데 있어 LDA와 신경망 기반 문단 임베딩의 성능을 비교한다.
• K-최근접 이웃(KNN) 및 t-SNE 시각화 기법을 활용해 두 방법의 유사 영화 식별 효과성을 평가한다.
• 협업 필터링의 대체 또는 보완 방법으로 LDA 기반 특징이 추천 시스템에서 가능할지 평가한다.
• 자연어 데이터를 활용한 차원 축소 및 분산 표현이 추천 정확도 향상에 어떻게 기여하는지 검증한다.

제안 방법

• 영화 줄거리 텍스트에서 주제 수준의 특징을 추출하기 위해 잠재 Dirichlet 분배(Latent Dirichlet Allocation, LDA)를 활용하며, 각 줄거리를 주제의 혼합으로 모델링한다.
• 분산 문단 표현 기반 신경망 모델(예: 분산 문단 표현)을 활용해 영화 줄거리의 조밀한 벡터 표현을 생성한다.
• LDA와 신경망에서 유도된 벡터 표현을 바탕으로 K-최근접 이웃(KNN)을 적용해 유사한 영화를 식별한다.
• 낮은 차원 공간에서 영화 표현 간 의미적 유사성을 시각화하고 해석하기 위해 t-분포 확률적 이웃 임베딩(t-Distributed Stochastic Neighbor Embedding, t-SNE)을 사용한다.
• 25,203개의 위키백과 기반 영화 줄거리 요약으로 구성된 CMU 영화 줄거리 코퍼스를 사용해 모델 성능을 평가한다.
• 결과로 도출된 추천 결과를 IMDB의 협업 필터링 시스템과 비교하여 상대적 효과성을 평가한다.

실험 결과

연구 질문

• RQ1 잠재 Dirichlet 분배(Latent Dirichlet Allocation)는 영화 줄거리에서 신경망 기반 방법과 유사한 의미 있는 고수준 특징을 효과적으로 추출할 수 있는가?
• RQ2 LDA에서 유도된 특징와 신경망 기반 문단 임베딩 간에 영화 줄거리 간 의미적 유사성을 얼마나 잘 포괄하는가?
• RQ3 LDA 기반 표현이 KNN 및 시각화 기법을 통해 얼마나 정확한 영화 추천을 지원할 수 있는가?
• RQ4 텍스트 기반 데이터에 의존하는 추천 시스템에서 LDA가 딥러닝의 타당한 대체 또는 보완 방법이 될 수 있는가?
• RQ5 LDA와 신경망에서 유도된 투영 표현 간에 맥락 유사성과 군집 패턴 측면에서 어떤 차이가 있는가?

주요 결과

• LDA는 영화 줄거리에서 고수준 의미적 특징을 효과적으로 포착하며, 딥러닝 없이도 의미 있는 추상화를 이끌 수 있음을 보여준다.
• LDA 기반 접근법은 영화 줄거리의 주제적 내용을 반영한 일관되고 해석 가능한 주제 분포를 생성한다.
• KNN 기반 검색 성능 측정 결과, 신경망 기반 문단 임베딩가 LDA보다 더 높은 정확도로 유사한 영화를 식별한다.
• t-SNE 시각화 결과, 두 방법 모두 의미 있는 유사 영화 군집을 생성하며, 특히 신경망이 더 명확하고 조밀한 군집을 형성한다.
• LDA 기반 모델은 맥락 유사성 탐지에서 유사한 성능을 보이며, 추천 작업에서 딥러닝의 경량 대체 방법으로 유용하다.
• 결과적으로 LDA는 계산 효율성이 중요한 환경에서 하이브리드 추천 시스템에 가치 있는 보완 방법이 될 수 있음을 시사한다.