[論文レビュー] Empathetic BERT2BERT Conversational Model: Learning Arabic Language Generation with Little Data

Tarek Naous, Wissam Antoun+2 more|arXiv (Cornell University)|Mar 7, 2021

Topic Modeling参考文献 30被引用数 13

ひとこと要約

本稿では、アラビア語の共感的対話データセットである ArabicEmpatheticDialogues で微調整された BERT2BERT モデルを提案する。エンコーダーとデコーダーの両方をアラビア語向けに事前学習された AraBERT の重みで初期化することで、低リソースなアラビア語の共感的応答生成を向上させる。モデルは17.0の perplexity を達成し、先行研究比で BLEU スコアが5ポイント向上した。人間評価では、共感性、関連性、文の自然さの観点で4.3/5.0の評価を得た。

ABSTRACT

Enabling empathetic behavior in Arabic dialogue agents is an important aspect of building human-like conversational models. While Arabic Natural Language Processing has seen significant advances in Natural Language Understanding (NLU) with language models such as AraBERT, Natural Language Generation (NLG) remains a challenge. The shortcomings of NLG encoder-decoder models are primarily due to the lack of Arabic datasets suitable to train NLG models such as conversational agents. To overcome this issue, we propose a transformer-based encoder-decoder initialized with AraBERT parameters. By initializing the weights of the encoder and decoder with AraBERT pre-trained weights, our model was able to leverage knowledge transfer and boost performance in response generation. To enable empathy in our conversational model, we train it using the ArabicEmpatheticDialogues dataset and achieve high performance in empathetic response generation. Specifically, our model achieved a low perplexity value of 17.0 and an increase in 5 BLEU points compared to the previous state-of-the-art model. Also, our proposed model was rated highly by 85 human evaluators, validating its high capability in exhibiting empathy while generating relevant and fluent responses in open-domain settings.

研究の動機と目的

• 共感的対話向けの高精度なアラビア語自然言語生成（NLG）モデルが不足している現状、特にアノテーションデータが限られる状況を踏まえて、その課題に対処すること。
• アラビア語の低リソース状況を克服するため、事前学習済みの AraBERT 重みを活用した転移学習を活用すること。
• 英語用に開発された BERT2BERT アーキテクチャをアラビア語に適応させることで、オープンドメイン会話における共感的応答生成を向上させること。
• 自動評価指標に加え、共感性、関連性、文の自然さの観点から人間による評価も実施し、モデルの性能を評価すること。
• 中立的雑談発話（例：「こんにちは、元気？」）の処理における限界を特定し、今後の研究として文脈に配慮した応答選択の改善を提案すること。

提案手法

• BERT2BERT というトランスフォーマー型エンコーダーデコーダーモデルを、アラビア語の共感的対話データセットである ArabicEmpatheticDialogues で微調整し、エンコーダーとデコーダーの両方を事前学習済みの AraBERT 重みで初期化する。
• AraBERT が学習した文脈的表現を活用することで、データが少ない状況下でも性能を向上させる知識移譲を実施する。
• 入力発話に対する応答生成を最適化するため、クロスエントロピー損失を用いたシーケンス・ツー・シーケンス学習を実装する。
• 共感性、関連性、文の自然さの観点で0〜5のスケールで評価する人間評価調査を85名の評価者で実施する。
• 本稿で提案するモデルを3つのベースラインと比較する：Bi-LSTM Seq2Seq モデル、感情ラベルを入力に先頭に付加した Bi-LSTM モデル、事前学習されていないトランスフォーマー・デコーダー。
• 中立的感情の入力に対するモデルの挙動を分析し、文脈に依存した応答選択における限界を特定する。

実験結果

リサーチクエスチョン

• RQ1 AraBERT の重みで初期化された BERT2BERT エンコーダーデコーダーが、低リソースなアラビア語対話システムにおける共感的応答生成を顕著に改善できるか？
• RQ2 自動評価指標（perplexity、BLEU）および人間評価スコアの観点から、本稿で提案するモデルはベースラインモデルと比べてどの程度優れているか？
• RQ3 モデルはオープンドメイン会話にどの程度一般化可能であり、共感性、関連性、文の自然さを維持できるか？
• RQ4 中立的または感情のない雑談発話（例：「こんにちは、元気？」）を処理する際、モデルにどのような限界があるか？
• RQ5 AraBERT からの知識移譲は、アラビア語 NLG タスクにおけるデータ不足問題を緩和できるか？

主な発見

• 提案された BERT2BERT モデルは perplexity 17.0 を達成し、以前の最先端モデルよりも顕著に低い値となった。
• 前回の最先端モデル比で BLEU スコアが5ポイント向上し、応答生成の質の向上を示した。
• 人間評価者による評価では、共感性、関連性、文の自然さの観点で4.3/5.0の評価を得ており、人間が感じ取る性能の高さが示された。
• Bi-LSTM、感情ラベルを先頭に付加した Bi-LSTM、事前学習されていないトランスフォーマーの3つのベースラインすべてを、すべての評価指標で上回った。
• 感情的な応答では優れた性能を示したが、中立的な雑談発話（例：「Hey, how are you?」）に対しては、不適切に共感的応答を生成する傾向があり、問題を示した。
• 中立的発話の処理におけるこの限界は、今後の研究として文脈に配慮した応答選択や、感情に配慮した生成制御の向上が求められることを示唆している。