[論文レビュー] Learning to mirror speaking styles incrementally

Siyi Liu, Ziang Leng+1 more|arXiv (Cornell University)|Mar 5, 2020

Natural Language Processing Techniques参考文献 13被引用数 4

ひとこと要約

本稿では、頻度の高いn-gramを効率的なアイテムセットマイニングで抽出することで、個々の話し方のスタイルを段階的に学習・模倣する手法を提案する。BERTベースのパターンインジェクションとseq2seqモデリングを組み合わせ、入力文をターゲットスタイルに変換する。限られたデータでも明示的なパターンインジェクションにより優れた性能を発揮する一方、十分なデータがある場合にはseq2seqが優れている。これにより、チャットボットにおける動的な、人間らしいスタイルの模倣が可能になる。

ABSTRACT

Mirroring is the behavior in which one person subconsciously imitates the gesture, speech pattern, or attitude of another. In conversations, mirroring often signals the speakers enjoyment and engagement in their communication. In chatbots, methods have been proposed to add personas to the chatbots and to train them to speak or to shift their dialogue style to that of the personas. However, they often require a large dataset consisting of dialogues of the target personalities to train. In this work, we explore a method that can learn to mirror the speaking styles of a person incrementally. Our method extracts ngrams that capture a persons speaking styles and uses the ngrams to create patterns for transforming sentences to the persons speaking styles. Our experiments show that our method is able to capture patterns of speaking style that can be used to transform regular sentences into sentences with the target style.

研究の動機と目的

• 成長する会話データから、大規模な事前ラベル付きデータセットを必要とする静的モデルとは異なり、個々の話し方のスタイルを段階的に学習する手法を開発すること。
• 既存のパーソナやスタイル変換モデルがドメインレベルやプロフィールベースのパーソナに焦点を当てているのに対し、個々の言語的パターンに焦点を当てる制限を解消すること。
• チャットボットがリアルタイムでユーザーの発話パターンに動的に適応し、会話の一体感と自然さを高めること。
• 手動のヒューリスティクスや大規模事前学習に依存せず、フィラー、繰り返し、強調語などのスタイル特徴を効率的かつスケーラブルに捉えるアプローチを設計すること。

提案手法

• 増分的頻度アイテムセットマイニングアルゴリズムを用いて、話者の発話から頻度の高いn-gramを抽出し、再発する言語的パターンを効率的に同定する。
• BERTを用いて文の表現を符号化し、入力文と変換後の文の間のコサイン類似度を計算することで、スタイル変換中に意味的文脈を保持する。
• 最も文脈的に類似した、かつスタイル的に整合性のあるn-gramパターンをマイニングされたセットから選択し、入力文に挿入することで明示的なパターンインジェクションを実施する。
• アテンションを備えたseq2seqモデルを訓練し、パターン選択と文変換を同時に学習することで、十分な訓練データがある場合の文の流暢さを向上させる。
• パターンベースの変換とニューラル生成を組み合わせ、データの可用性に応じて戦略を適応可能にする。データが少ない場合にはパターンインジェクション、データが多い場合にはseq2seqを採用する。
• 二段階評価を実施：文の流暢さを評価するためのパープレキシティと、文脈保持のためのコサイン類似度。BERTからの重み付き平均単語ベクトルを用いる。

実験結果

リサーチクエスチョン

• RQ1 より多くの会話データが入手可能になるにつれ、モデルは個々の話し方のスタイルを段階的に学習・反映できるか？
• RQ2 限られた訓練データで、頻度の高いn-gramを用いた明示的パターンインジェクションは、エンドツーエンドのseq2seq学習に比べてスタイル変換性能で優れているか？
• RQ3 BERTベースのパターンインジェクションは、入力文の文脈をどれだけ効果的に保持しながら、ターゲット話者のスタイルに変換できるか？
• RQ4 会話データの量が増えるにつれてモデルの性能は向上するか？また、最適な戦略はパターンインジェクションからニューラル生成にシフトするか？
• RQ5 ドナルド・トランプのような個々の話者に見られるフィラー、繰り返し、強調語といった特徴的なスタイル的特徴を、本手法は効果的に捉え、再現できるか？

主な発見

• データの5%でのみ、BERTベースの明示的パターンインジェクション手法はパープレキシティ27.5、コサイン類似度0.98を達成し、seq2seqモデル（パープレキシティ11.7、類似度0.68）を顕著に上回った。
• データが20%に増加した際、BERT+パターン手法は高い類似度（0.98）と中程度のパープレキシティ（22.5）を維持した一方、seq2seqモデルの類似度は0.74に向上したが、パープレキシティは24.2に上昇した。
• seq2seqモデルはデータが少ない場合に、高流暢さ（低パープレキシティ）だが文脈保持が悪い、つまり訓練例の記憶に近い、整合性のない繰り返しの出力を生成した。
• BERT+明示的パターン手法は、すべてのデータ設定で入力文の文脈をより効果的に保持しており、5%、10%、20%データのいずれでも一貫して高いコサイン類似度（0.98）を示した。
• 全データ（100%）ではseq2seqモデルのパープレキシティが36.7に上昇し、流暢さが低下した一方で、類似度は0.85に向上し、文脈保持は改善したが、過学習や不安定性のため全体的な性能は悪化した。
• 結果から、データが少ない場合には明示的パターンインジェクションがエンドツーエンド学習を上回ることが有効であることが確認され、データが十分にある場合にはseq2seqが優れていることが示された。これにより、ハイブリッド戦略の有効性が裏付けられた。