[論文レビュー] Personalized Dialogue Generation with Diversified Traits

Yinhe Zheng, Guanyi Chen+3 more|arXiv (Cornell University)|Jan 28, 2019

Topic Modeling参考文献 45被引用数 89

ひとこと要約

本論文は、話者の明示的な性格特性を含む大規模データセットを導入し、多様な特性に基づいて個別化された応答を生成する特性認識型Seq2Seqモデル（PAAとPAB）を提案する。

ABSTRACT

Endowing a dialogue system with particular personality traits is essential to deliver more human-like conversations. However, due to the challenge of embodying personality via language expression and the lack of large-scale persona-labeled dialogue data, this research problem is still far from well-studied. In this paper, we investigate the problem of incorporating explicit personality traits in dialogue generation to deliver personalized dialogues. To this end, firstly, we construct PersonalDialog, a large-scale multi-turn dialogue dataset containing various traits from a large number of speakers. The dataset consists of 20.83M sessions and 56.25M utterances from 8.47M speakers. Each utterance is associated with a speaker who is marked with traits like Age, Gender, Location, Interest Tags, etc. Several anonymization schemes are designed to protect the privacy of each speaker. This large-scale dataset will facilitate not only the study of personalized dialogue generation, but also other researches on sociolinguistics or social science. Secondly, to study how personality traits can be captured and addressed in dialogue generation, we propose persona-aware dialogue generation models within the sequence to sequence learning framework. Explicit personality traits (structured by key-value pairs) are embedded using a trait fusion module. During the decoding process, two techniques, namely persona-aware attention and persona-aware bias, are devised to capture and address trait-related information. Experiments demonstrate that our model is able to address proper traits in different contexts. Case studies also show interesting results for this challenging research problem.

研究の動機と目的

• 対話生成へ明示的な性格特性を組み込むタスクを動機づけ、定義する。
• スケーラブルな学習のために、多様な特性を含む大規模で実在的な社会的対話データセットを提供する。
• 特性を融合しデコーディングへ組み込むペルソナ認識型生成モデルを開発する。

提案手法

• Gender, Age, Location, and Interest Tags などの特性を持つ大規模な中国語対話コーパス PersonalDialog を構築し、8.47M 話者、20.83M セッションに渡る。
• 各特性を埋め込みとして符号化し、性格特性融合モジュールと統合してペルソナ表現 v_p を形成する。
• v_p の2つのデコーディング統合を実装する: (i) Persona-Aware Attention (PAA) は注意重みを v_p で条件付け、(ii) Persona-Aware Bias (PAB) はゲーティング機構を用いて生成分布にペルソナバイアスを加える。
• 3つの特性融合戦略を探る: Traits Attention、Traits Average、Traits Concatenation。
• v_p で条件付けされた Bahdanau 風のアテンションを用いた、2層 BiGRU エンコーダと2層 GRU デコーダを備える Seq2Seq フレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 大規模な社会データから生成された対話において、明示的な性格特性を効果的に学習・表現できるか。
• RQ2 異なる特性融合手法がデコーダーへの性格情報の統合にどのように影響するか。
• RQ3 どのデコーディング戦略（PAA 対 PAB）がペルソナ表現を最も活用して特性整合的な応答を生成するか。
• RQ4 さまざまな特性融合スキーム（アテンション、平均、連結）が文脈全体で多様な特性の表現にどのように影響するか。

主な発見

• モデルは異なる文脈で適切で多様な特性に対応できる。
• 実験では Persona-Aware Bias (PAB) が一般に Persona-Aware Attention (PAA) より優れている。
• 実在の社会的対話と多様な特性を含む大規模データセット（PersonalDialog）は、個別化対話生成の訓練を支援する。
• 特性融合により、生成テキストが正確な特性値を含むことを要求せずに、明示的な特性情報を反映した応答を生成できる。