[論文レビュー] Feature extraction using Latent Dirichlet Allocation and Neural Networks: A case study on movie synopses

Despoina Christou|arXiv (Cornell University)|Apr 5, 2016

Stock Market Forecasting Methods参考文献 66被引用数 3

ひとこと要約

本稿では、映画のあらましを分析するため、潜在ディリクレ配分（LDA）とニューラルネットワークを組み合わせたハイブリッド特徴抽出手法を提案する。LDAは軽量なモデルであるが、最先端のニューラルネットワークベースのパラグラフ埋め込みと同等の意味的な高レベル特徴を抽出できることを示しており、CMU映画あらましコーパスを用いたKNNおよびt-SNE可視化により、効果的な映画類似度検出と推薦が可能である。

ABSTRACT

Feature extraction has gained increasing attention in the field of machine learning, as in order to detect patterns, extract information, or predict future observations from big data, the urge of informative features is crucial. The process of extracting features is highly linked to dimensionality reduction as it implies the transformation of the data from a sparse high-dimensional space, to higher level meaningful abstractions. This dissertation employs Neural Networks for distributed paragraph representations, and Latent Dirichlet Allocation to capture higher level features of paragraph vectors. Although Neural Networks for distributed paragraph representations are considered the state of the art for extracting paragraph vectors, we show that a quick topic analysis model such as Latent Dirichlet Allocation can provide meaningful features too. We evaluate the two methods on the CMU Movie Summary Corpus, a collection of 25,203 movie plot summaries extracted from Wikipedia. Finally, for both approaches, we use K-Nearest Neighbors to discover similar movies, and plot the projected representations using T-Distributed Stochastic Neighbor Embedding to depict the context similarities. These similarities, expressed as movie distances, can be used for movies recommendation. The recommended movies of this approach are compared with the recommended movies from IMDB, which use a collaborative filtering recommendation approach, to show that our two models could constitute either an alternative or a supplementary recommendation approach.

研究の動機と目的

• LDAのような軽量なトピックモデリング手法が、映画のあらましから意味的な高レベル特徴を抽出できるかどうかを検討すること。
• LDAとニューラルネットワークベースのパラグラフ埋め込みの両者が、映画のあらましの間の意味的類似性をどの程度正確に捉えられるかを比較すること。
• K-Nearest Neighborsおよびt-SNE可視化を用いて、両手法の類似映画同定の有効性を評価すること。
• LDAベースの特徴が、協調フィルタリングとは別または補完的な手法として、映画推薦システムにおいて有効に機能する可能性を評価すること。
• 自然言語データを用いた推薦精度の向上に、次元削減と分散表現がどのように寄与するかを検証すること。

提案手法

• 映画のあらましをトピックの混合としてモデル化することで、LDAを用いてトピックレベルの特徴を抽出する。
• ニューラルネットワークベースのモデル（例：分散パラグラフ表現）を用いて、映画のあらましの密度行列表現を生成する。
• LDAおよびニューラルネットワークから得られたベクトル表現に基づき、K-Nearest Neighbors（KNN）を用いて類似映画を特定する。
• t-分布確率的近傍埋め込み（t-SNE）を用いて、低次元空間における映画表現間の意味的類似性を可視化・解釈する。
• 25,203件のウィキペディアベースの映画あらましで構成されるCMU映画あらましコーパスを用いてモデルの性能を評価する。
• 得られた推薦結果をIMDBの協調フィルタリングシステムの結果と比較し、相対的な有効性を評価する。

実験結果

リサーチクエスチョン

• RQ1 潜在ディリクレ配分（LDA）は、ニューラルネットワークベースの手法と同等の意味的高レベル特徴を、映画のあらましから効果的に抽出できるか？
• RQ2 LDAから得られる特徴は、ニューラルネットワークで生成されたパラグラフ埋め込みと比較して、映画あらましの意味的類似性をどの程度正確に捉えられるか？
• RQ3 LDAベースの表現は、KNNおよび可視化技術を用いて、どの程度正確な映画推薦を支援できるか？
• RQ4 LDAは、テキストデータに依存する推薦システムにおいて、深層学習の代替または補完的手法として有効に機能できるか？
• RQ5 LDAとニューラルネットワークから得られる投影表現は、文脈の類似性とクラスタリングパターンの面で、どのように異なるか？

主な発見

• LDAは映画のあらましから意味的な高レベル特徴を効果的に捉えており、深層学習を用いずに意味的な要約を生成できることを示している。
• LDAベースのアプローチは、映画あらましのテーマ的コンテンツを反映する一貫性があり解釈可能なトピック分布を生成している。
• KNNベースの検索性能を測定したところ、ニューラルネットワークベースのパラグラフ埋め込みがLDAよりも高い正確性を示した。
• t-SNE可視化では、両手法とも類似映画の意味的クラスタリングを有効に生成しており、特にニューラルネットワークがより明確で密集したクラスタを形成している。
• LDAベースのモデルは文脈の類似性検出において同等の性能を示し、計算効率が重要な状況では深層学習の軽量代替手段として有効である。
• 結果から、LDAは特に計算コストを重視する状況において、ハイブリッド推薦システムにおける貴重な補完的手法である可能性が示唆される。