[論文レビュー] Context-aware Natural Language Generation with Recurrent Neural Networks

Jian Tang, Y. F. Yang+3 more|arXiv (Cornell University)|Nov 29, 2016

Multimodal Machine Learning Applications参考文献 19被引用数 69

ひとこと要約

本稿では、感情や製品IDなどの文脈的情報を連続的意味表現にエンコードし、人間らしいテキスト系列を生成する文脈に配慮した自然言語生成のための2つのRNNベースのモデル、C2SおよびgC2Sを提案する。gC2Sモデルはゲーティング機構を用い、文脈から単語への直接的注目を可能にし、人間の審査官に50%以上が本物と誤認され、最先端の検出アルゴリズムでも90%以上が偽物と誤認されるほどの、本物に似た偽レビューを生成する。

ABSTRACT

This paper studied generating natural languages at particular contexts or situations. We proposed two novel approaches which encode the contexts into a continuous semantic representation and then decode the semantic representation into text sequences with recurrent neural networks. During decoding, the context information are attended through a gating mechanism, addressing the problem of long-range dependency caused by lengthy sequences. We evaluate the effectiveness of the proposed approaches on user review data, in which rich contexts are available and two informative contexts, sentiments and products, are selected for evaluation. Experiments show that the fake reviews generated by our approaches are very natural. Results of fake review detection with human judges show that more than 50\% of the fake reviews are misclassified as the real reviews, and more than 90\% are misclassified by existing state-of-the-art fake review detection algorithm.

研究の動機と目的

• 感情や製品IDなどの文脈的情報を組み込むエンドツーエンドでデータ駆動型の自然言語生成モデルを開発すること。
• RNNの長距離依存性の制限を克服するため、ゲーティング機構によって文脈から単語への直接的注目を可能にすること。
• 人間が書いたレビューと区別がつかない自然で多様かつ文脈的に適切なテキスト系列を生成すること。
• 人間の判断と最先端の偽レビュー検出システムを用いて、生成されたテキストの現実性を評価すること。

提案手法

• C2Sモデルは、フィードフォワードネットワークを用いて、感情スコアや製品IDなどの複数の文脈タイプを連続的意味表現にエンコードする。
• gC2Sモデルは、C2Sを拡張し、各デコードステップで文脈表現が単語生成に直接影響を与えることができるゲーティング機構を導入する。
• ゲート付き注目機構は、デコード中に隠れ状態に文脈情報がどれほどおよびどのように注入されるかを動的に制御する。
• モデルは長短期記憶（LSTM）ユニットを用い、順序依存性をモデル化し、テキスト生成における長距離文脈を捉える。
• エンコーダ・デコーダフレームワークは、アマゾンおよびトリップアドバイザーのユーザーレビューデータ上でエンドツーエンドに訓練され、文脈特徴を入力とし、テキスト系列を出力とする。
• ゲーティング機構により、文脈から隠れ状態へのスイッチバック接続が可能となり、情報の流れが向上し、長文においても劣化が軽減される。

実験結果

リサーチクエスチョン

• RQ1 文脈に配慮したニューラルテキスト生成は、人間が書いたレビューと区別がつかないレビューを生成できるか？
• RQ2 ゲーティング機構は、長文における遠く離れた単語に文脈情報が影響を与えるのにどの程度効果的か？
• RQ3 生成されたレビューはどの程度、正しい感情極性と製品固有の詳細を反映しているか？
• RQ4 最先端の偽レビュー検出システムは、本稿で提案するモデルが生成したレビューに対してどの程度効果的に機能するか？

主な発見

• gC2Sモデルが生成した偽レビューの50%以上が人間の審査官に本物と誤認され、生成されたテキストの高い現実性を示している。
• 最先端の偽レビュー検出アルゴリズムでも、生成された偽レビューの90%以上が誤認され、モデルが人間の書き方を模倣する効果性を示している。
• 生成されたレビューにおける感情分類の結果、F1スコアは細分化（fine-grained）で0.529、二値分類（binary）で0.982であり、本物のレビューとほぼ同等であった。これは感情表現の正確性を示している。
• 生成されたレビューの例は文法的に正しく、文脈的に適切であり、正しい感情と製品情報が反映されており、定性的な分析で確認された。
• gC2Sモデルは、ゲート付き注目機構により文脈の伝搬が改善されるため、C2Sモデルに比べて特に長文において顕著に優れた性能を示した。
• モデルは、書籍、家電、映画、ホテルなど多様な分野で、多様で自然な響きのレビューを一貫して生成でき、感情レベルにかかわらず安定したパフォーマンスを示した。