[論文レビュー] Generative Concatenative Nets Jointly Learn to Write and Classify Reviews

Zachary C. Lipton, Sharad Vikram+1 more|arXiv (Cornell University)|Nov 11, 2015

Topic Modeling参考文献 22被引用数 30

ひとこと要約

この論文では、生成的連結ネットワーク（GCNs）を紹介する。GCNsは、ユーザーと商品の特性に基づいて、個人化された製品レビューを生成するとともに、著者、商品カテゴリ、感情を同時に分類する文字レベルのRNNである。モデルは、ユーザー、スコア、カテゴリなどの補助入力をシーケンス全体に複製することで、一貫性がありスタイルに合ったレビューを生成するとともに、分類のための明示的トレーニングなしでゼロショット分類において高い精度を達成する。

ABSTRACT

A recommender system's basic task is to estimate how users will respond to unseen items. This is typically modeled in terms of how a user might rate a product, but here we aim to extend such approaches to model how a user would write about the product. To do so, we design a character-level Recurrent Neural Network (RNN) that generates personalized product reviews. The network convincingly learns styles and opinions of nearly 1000 distinct authors, using a large corpus of reviews from BeerAdvocate.com. It also tailors reviews to describe specific items, categories, and star ratings. Using a simple input replication strategy, the Generative Concatenative Network (GCN) preserves the signal of static auxiliary inputs across wide sequence intervals. Without any additional training, the generative model can classify reviews, identifying the author of the review, the product category, and the sentiment (rating), with remarkable accuracy. Our evaluation shows the GCN captures complex dynamics in text, such as the effect of negation, misspellings, slang, and large vocabularies gracefully absent any machinery explicitly dedicated to the purpose.

研究の動機と目的

• ユーザーおよび商品の特性に基づいて、パーソナライズされ、スタイルに合った製品レビューを生成する深層生成モデルの開発。
• テキスト生成のための訓練のみで行う生成モデルが、著者、感情、カテゴリの正確な分類を同時に実行できるかどうかの調査。
• 語彙の多様性、標点、スラング、否定の処理を、単語レベルのトークン化なしに文字レベルのRNNでモデル化する課題への対処。
• 生成モデルの内部表現が意味的な補助情報を捉え、ゼロショット分類を可能にするかどうかの評価。
• 分類のための別個の識別的トレーニングを避けるために、生成モデルの尤度を代理指標として用いる可能性の探求。

提案手法

• モデルは、補助入力に条件づけられた文字列を生成するため、文字レベルの長短期記憶（LSTM）ネットワークを用いる。
• 補助入力（著者、スコア、カテゴリ）は、シーケンスの各タイムステップに複製され、長いシーケンスにわたり影響を保つ。
• 標準的な言語モデルの目的関数に従い、入力条件のもとでの正解レビューの尤度を最大化するようにトレーニングする。
• 分類は、異なる入力条件のもとでの生成レビューの尤度を評価することで行い、ファインチューニングや別個のトレーニングなしに実施する。
• 語彙レベルのトークン化を回避することで、未知語、スペルミス、希少語の処理に強く対応できる。
• 入力の複製は、アテンション機構の代わりとなり、生成および分類の両タスクで性能を維持しながらモデルを簡素化する。

実験結果

リサーチクエスチョン

• RQ1 文字レベルのRNNが、分類のための明示的トレーニングなしに、著者、感情、カテゴリといった補助属性を同時に生成・分類できるか？
• RQ2 生成モデルは、個々の著者のスタイル的特徴（例：句読点、大文字・小文字、構造）をどの程度正確に捉えられるか？
• RQ3 トレーニングデータに存在しないユーザー・商品の組み合わせに対し、どの程度一般化できるか？
• RQ4 単語レベルの監視なしに、否定、スラング、多様な語彙といった言語的複雑性をどの程度処理できるか？
• RQ5 異なる入力条件のもとでの生成シーケンスの尤度が、分類の有効な代理指標として機能できるか？

主な発見

• GCNは、訓練データにないユーザー・商品の組み合わせに対しても、ほぼ1,000人の著者の書式に合った、非常に現実的でスタイルに一貫性のあるレビューを生成する。
• 分類のための直接的なトレーニングなしにもかかわらず、著者、カテゴリ、感情予測において、純粋な識別的モデルとほぼ同等の精度を達成する。
• モデルは未見のレビューにうまく一般化し、外観、香り、味といったビールの特徴を一貫した構造で、整合性のある記述を生成する。
• 文字レベルの表現と長距離依存性のおかげで、否定、スペルミス、スラングといった複雑な言語現象を明示的にモデル化しなくても、それを捉える。
• 入力の複製により、長いシーケンスにわたり安定した条件付けが可能となり、このタスクにおいてアテンションベースの機構よりも単純さと推論効率に優れる。
• 尤度スコアによる分類は、パープレキシティベースの評価よりも外れ値に敏感ではなく、モデルの知識を信頼できる代理指標として提供する。