[論文レビュー] Empirical Analysis of Training Strategies of Transformer-based Japanese Chit-chat Systems

Hiroaki Sugiyama, Masahiro Mizukami+5 more|arXiv (Cornell University)|Sep 11, 2021

Speech and dialogue systems参考文献 10被引用数 10

ひとこと要約

本稿では、大規模なTransformerベースの日本語会話システムを提案し、新たに作成された日本語データセットを用いてファインチューニング戦略を評価している。訓練データの構成、特にパーソナリティや共感を重視した対話が、ユーザーの印象に顕著な影響を与えることが判明した。一方、モデルサイズや追加情報の影響は、データセットの種別によって異なり、一貫した傾向は見られない。

ABSTRACT

In recent years, several high-performance conversational systems have been proposed based on the Transformer encoder-decoder model. Although previous studies analyzed the effects of the model parameters and the decoding method on subjective dialogue evaluations with overall metrics, they did not analyze how the differences of fine-tuning datasets affect on user's detailed impression. In addition, the Transformer-based approach has only been verified for English, not for such languages with large inter-language distances as Japanese. In this study, we develop large-scale Transformer-based Japanese dialogue models and Japanese chit-chat datasets to examine the effectiveness of the Transformer-based approach for building chit-chat dialogue systems. We evaluated and analyzed the impressions of human dialogues in different fine-tuning datasets, model parameters, and the use of additional information.

研究の動機と目的

• 英語SOTAシステムと同等の、大規模かつ最先端のTransformerベースの日本語対話モデルの開発。
• 日本語用に適応したPersonaChatおよびEmpatheticDialoguesを含む、日本語会話対話用のベンチマークデータセットの作成および公開。
• ファインチューニングデータセットの特性、モデルサイズ、追加情報が、対話品質の主観的評価に与える影響を実証的に分析すること。
• 特に低リソースで非英語の文脈（日本語を含む）において、訓練データの構成が主観的ユーザー印象に与える影響を調査すること。
• 複数データセットの混合や追加情報（例：プロフィール文）が、複数の次元にわたる対話品質の向上にどの程度有効であるかを評価すること。

提案手法

• 大規模なTwitterベースの対話コーパスを用いた、大規模なTransformerエンコーダデコーダモデル（0.35B〜1.6Bパラメータ）の事前学習。
• 3つの異なる日本語会話対話データセット（Fav：好みの話題、ED：共感的対話、PC：パーソナリティベースの対話）を用いたファインチューニング。
• 自然さ、感情表現、一貫性、注意深さ、トピック関連性、全体的な印象の複数次元にわたる人間評価を実施。
• 追加情報なしのフラットファインチューニングと、プロフィール文や状況的文脈を含むタグ付きファインチューニングを比較し、評価への影響を評価。
• 複数のデータセットを組み合わせる戦略（例：Mix50K、Mix150K）を検討し、多様なデータソースの統合によるパフォーマンス向上を評価。
• 自動評価指標としてパープレキシティを用い、自動評価と人間評価の整合性を検証。

実験結果

リサーチクエスチョン

• RQ1 パーソナリティ、共感、好みの話題など、異なるファインチューニングデータセットが、日本語会話システムにおける対話品質の主観的評価にどのように影響を与えるか？
• RQ2 プロフィール文などの追加情報の追加が、トピック関連性や注意深さといった特定の対話品質の側面をどの程度向上させるか？
• RQ3 モデルサイズの増加が、常に主観的対話品質を向上させるのか。それとも、訓練データの分布に依存するのか？
• RQ4 複数のデータセットを混合することで、単一データセットを使用する場合よりもパフォーマンスが向上するのか。また、これはデータセットの品質にどのように依存するか？
• RQ5 自動指標（例：パープレキシティ）と人間評価の間の相関関係は、日本語対話システムにおいてどの程度成立するか？

主な発見

• Favデータセット（好みの話題対話）は、EDおよびPCと比較して全体的なユーザー印象で顕著に優れており、全評価次元で最高得点を記録した。
• EDデータセットは自然さ、感情表現、一貫性に寄与したが、反復的な共感的反応とトピックの発展が限定的であるため、注意深さが低下した。
• PCデータセットは、特定の印象カテゴリーに顕著な改善を示さず、パーソナリティに焦点を当てたにもかかわらずユーザーの認識に大きな影響を与えないことが判明した。
• 追加情報（タグ付き条件）の追加は、EDおよびPCにおいて一般的に全体的な評価スコアを低下させた。これは、文脈への過剰適合や硬直的な応答パターンの生成による可能性が大きい。
• モデルサイズは、FavおよびMix150Kデータセットにおいては強い正の相関を示したが、EDやPCではその相関は観察されず、モデルスケーリング効果がデータセットに依存することが示された。
• データセットの混合は、データ量が増加した場合にパフォーマンス向上をもたらした。特に高品質と低品質のデータセットを組み合わせた場合、データ量が品質のばらつきを相殺できる可能性があることが示唆された。