[論文レビュー] Indian Regional Movie Dataset for Recommender Systems

Prerna Agarwal, Richa Verma+1 more|arXiv (Cornell University)|Jan 7, 2018

Recommender Systems and Techniques参考文献 10被引用数 4

ひとこと要約

本論文は、18のインド語で制作された2,851本の地域映画について、919人のユーザーによる10,000件の評価を含む、最初の包括的なインド・レジャイナル映画データセットを紹介する。ユーザーの人口統計的属性と映画のメタデータを含む本データセットは、確率的行列分解やブラインド・コンpressedセンシングなどの教師ありおよび教師なしの協調フィルタリング手法を用いて分析された。その結果、メタデータを統合することでレーティング予測の正確性が著しく向上し、インドの地域映画向け推薦システムのベンチマークとしての価値が実証された。特に、インドの地域映画データセットにおいて最も低いMAEを達成した。

ABSTRACT

Indian regional movie dataset is the first database of regional Indian movies, users and their ratings. It consists of movies belonging to 18 different Indian regional languages and metadata of users with varying demographics. Through this dataset, the diversity of Indian regional cinema and its huge viewership is captured. We analyze the dataset that contains roughly 10K ratings of 919 users and 2,851 movies using some supervised and unsupervised collaborative filtering techniques like Probabilistic Matrix Factorization, Matrix Completion, Blind Compressed Sensing etc. The dataset consists of metadata information of users like age, occupation, home state and known languages. It also consists of metadata of movies like genre, language, release year and cast. India has a wide base of viewers which is evident by the large number of movies released every year and the huge box-office revenue. This dataset can be used for designing recommendation systems for Indian users and regional movies, which do not, yet, exist. The dataset can be downloaded from \href{https://goo.gl/EmTPv6}{https://goo.gl/EmTPv6}.

研究の動機と目的

• ハリウッドやメインタイプコンテンツに注力した既存の推薦システムが、インドの地域映画に十分に対応していない現状を踏まえ、その分野に特化したデータセットが不足しているという問題に取り組むこと。
• インドの地域映画のための、ユーザーの評価、ユーザーの人口統計的属性（年齢、職業、出身州、使用言語）、映画のメタデータ（ジャンル、言語、公開年、出演者、IMDbレーティング）を含む大規模かつ多様なデータセットを収集・構造化すること。
• 本データセットを用いて、教師ありおよび教師なしの協調フィルタリング手法の性能を評価し、インドの視聴者に特化した正確なパーソナライズド推薦システムの構築における有用性を検証すること。
• インドの言語的および人口統計的多様性を反映した、特に無視されがちな地域映画ジャンルを考慮した推薦アルゴリズムの開発・テストを可能にするベンチマークデータセットを提供すること。

提案手法

• ユーザーのメールアドレス、生年月日、性別、出身州、使用言語、職業などの情報を収集できるウェブポータルを構築し、人口統計的属性の収集を可能にした。
• ユーザーは映画を「好き／嫌い」（1／-1）のスケールで評価し、919人のユーザーと2,851本の映画の間で、約10,000件のスパースな評価行列が形成された。
• 映画のメタデータ（ジャンル、言語、公開年、監督、出演者、IMDbレーティング）は、公開リソースから収集し、データセットの豊かさを高めた。
• 教師あり協調フィルタリングは、ワンホットエンコーディングされたベクトルを用いてユーザーおよびアイテムのメタデータを統合した、変更を加えた行列分解フレームワークを用いて実装された。
• 正則化された目的関数を最小化する手法であり、予測誤差のフロベニウスノルム、ユーザーおよびアイテムの正則化、分類の一貫性項（例：$\mu_u||W - UC||_{frob}$）を含む。正則化パラメータのチューニングにはlカーブ法が用いられた。
• 比較のため、教師なし手法（ユーザー同士のコサイン類似度、確率的行列分解（PMF）、ブラインド・コンプレスドセンシング）を適用し、5分割交差検証を用いてMAEおよびRMSEで性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 本研究で新たに収集したインド・レジャイナル映画データセットに、Movielensなどの既存ベンチマークと比較して協調フィルタリング手法の性能がどのように変化するか。
• RQ2 ユーザーおよびアイテムのメタデータを統合することで、インドの地域映画向けスパースな推薦システムにおけるレーティング予測の正確性はどの程度向上するか。
• RQ3 分類ラベル制約を備えた教師あり行列分解は、レーティングのスパarsityの影響を軽減し、インドの地域映画推薦の文脈で予測の頑健性を向上させられるか。
• RQ4 異なる協調フィルタリングアルゴリズムにおいて、インド・レジャイナル映画データセットはMovielens 100Kおよび1Mと比較して、予測誤差指標（MAEおよびRMSE）でどの程度の差を示すか。
• RQ5 メタデータのエンコーディング（例：多言語使用者のためのワンホットベクトル）は、本データセットでトレーニングされた推薦モデルの一般化性能および正確性にどのような影響を与えるか。

主な発見

• インド・レジャイナル映画データセットは、Movielens 100Kおよび1Mを含む、複数の協調フィルタリング手法において、最も低い平均絶対誤差（MAE）を達成した。これは、本分野における予測性能が優れていることを示している。
• ユーザーおよびアイテムのメタデータを統合した教師あり協調フィルタリング手法は、基本的なコサイン類似度や標準的な行列分解といった教師なし手法を上回り、特にスパース性の高い状況で顕著な優位性を示した。
• 確率的行列分解（PMF）およびブラインド・コンプレスドセンシングは、地域映画データセットにおいて優れた性能を示し、PMFは最も低いMAEを記録した。これは、スパースで多様性に富み、言語的に多様なデータに対して効果的であることを示している。
• ワンホットエンコーディングされたメタデータ（例：言語やユーザーの人口統計的属性）の使用により、ユーザーの嗜好のモデリングが向上し、潜在的要因表現の一般化性能が向上した。
• lカーブ法により、最適な正則化パラメータが適切に特定され、教師あり行列分解フレームワークにおけるモデルの安定性が向上し、過学習のリスクが低減された。
• 高いスパarsityと豊富なメタデータを併せ持つ本データセットは、構造的事前知識を活用して予測を改善するような高度な手法（PMF やブラインド・コンプレスドセンシング）のテストに特に適していた。