[論文レビュー] Structured Neural Topic Models for Reviews

Babak Esmaeili, Hongyi Huang+2 more|arXiv (Cornell University)|Dec 12, 2018

Topic Modeling被引用数 14

ひとこと要約

VALTA は、ユーザーとアイテムのレビューを統合的に符号化することで、分離可能で側面ベースの表現を学習する変分自己符号化機械学習トピックモデルである。非構造的ベースラインと比較して、トピックの整合性、側面分類、およびジャンル発見や推薦といった下流タスクにおいて優れた性能を示し、階層的側面およびトピックモデリングによって解釈可能性と一般化性能が向上していることを示している。

ABSTRACT

We present Variational Aspect-based Latent Topic Allocation (VALTA), a family of autoencoding topic models that learn aspect-based representations of reviews. VALTA defines a user-item encoder that maps bag-of-words vectors for combined reviews associated with each paired user and item onto structured embeddings, which in turn define per-aspect topic weights. We model individual reviews in a structured manner by inferring an aspect assignment for each sentence in a given review, where the per-aspect topic weights obtained by the user-item encoder serve to define a mixture over topics, conditioned on the aspect. The result is an autoencoding neural topic model for reviews, which can be trained in a fully unsupervised manner to learn topics that are structured into aspects. Experimental evaluation on large number of datasets demonstrates that aspects are interpretable, yield higher coherence scores than non-structured autoencoding topic model variants, and can be utilized to perform aspect-based comparison and genre discovery.

研究の動機と目的

• 完全に教師なしのニューラルトピックモデルを開発し、ユーザーのレビューから分離可能で解釈可能な側面ベースの表現を学習すること。
• 側面およびサブ側面を含む構造的階層的コンポONENTを用いてレビューをモデリングし、解釈可能性と予測性能を向上させること。
• 構造的アイテム表現を学習することで、アイテム間の側面ベースの比較とクラスタリングを可能にすること。
• 感情やトピックといった異なる特徴を分離することで、データ効率性と一般化性能を向上させること。
• アスペクト分類、ジャンル発見、推薦などの下流タスクにおけるモデルの性能を評価すること。

提案手法

• VALTA はユーザー・アイテムエンコーダを用い、ユーザーとアイテムのレビューの集合を、各側面ごとのトピック重みを定義する構造的埋め込みにマッピングする。
• 各レビューの文に対して側面を割り当て、文の単語の尤度を、側面固有のトピック重みに基づく対数線形尤度で定義する。
• 変分自己符号化機械学習（VAE）フレームワークを採用し、コンクリート分布を用いて側面割り当てをパrameter化することで、微分可能な推論を可能にする。
• トピックおよび側面重みは、ユーザーとアイテムの埋め込みから予測され、レビュアーの好みとアイテムの特徴を共同でモデリング可能となる。
• 生成モデルは、レビューの再構成とレーティングの予測を目的として、完全に教師なしでエンドツーエンドに訓練され、表現品質と推薦性能の両方を向上させる。
• サブ側面は階層的にモデリングされ、各側面がサブ側面トピックの集合を持つことで、特徴の細分化された分離が可能となる。

実験結果

リサーチクエスチョン

• RQ1 ニューラルトピックモデルは、完全に教師なしの設定で、非構造的レビュー文から分離可能で解釈可能な側面を学習できるか？
• RQ2 構造的側面およびサブ側面を用いてレビューをモデリングすることで、非構造的ベースラインと比較してトピックの整合性と解釈可能性が向上するか？
• RQ3 学習された側面ベースの表現は、効果的な側面ベースのアイテム比較とクラスタリングを可能にするか？
• RQ4 構造的表現は、アスペクト分類や推薦などの下流タスクにおけるゼロショット一般化および性能向上にどの程度寄与するか？
• RQ5 パープレキシティ、整合性、推薦精度の観点から、最先端手法と比較してモデルの性能はどの程度か？

主な発見

• VALTA は、CitySearch および BeerAdvocate データセットの両方で、LDA や Local-LDA と比較して文レベルのアスペクト分類において最高の F1 スコアと正答率を達成した。
• VALTA は、文レベルおよびレビューレベルの両方で、ベースラインと比較して顕著に高い NPMI スコアを達成し、人間の判断と整合性の高いトピックの整合性を示している。
• BeerAdvocate データセットでは、VALTA が F1 スコア 0.78、正答率 0.75 を達成し、次に優れたベースラインから 5 パcentage ポイント以上優れていた。
• VALTA は、すべてのベースラインと比較して、教師なしのアイテムクラスタリングにおいて優れた性能を示し、構造的側面モデリングのおかげで学習された表現に対するマルチクラス SVM の正答率が向上した。
• 推薦タスクでは、VALTA がすべてのデータセットで最小の MSE を達成した：ビールで 0.437、Yelp で 1.236、衣料品で 0.315、映画で 0.154 であり、MF、LDA、VRLDA を上回った。
• アイテム表現のカーネル密度推定において、明確なクラスタリングが側面（例：アメリカンポーターは「ダーク」と「スイート」の側面とクラスタを形成）によって確認され、モデルが意味的な側面ベースの比較を可能にしていることを裏付けた。