[論文レビュー] Another Diversity-Promoting Objective Function for Neural Dialogue Generation

R. Nakamura, Katsuhito Sudoh+2 more|arXiv (Cornell University)|Nov 20, 2018

Topic Modeling参考文献 6被引用数 19

ひとこと要約

本稿では、トレーニング中に頻出トークンの重みを下げ、レアなトークンの重みを上げることで応答の多様性を向上させる、新しい目的関数である逆トークン頻度（ITF）損失を提案する。モデルアーキテクチャを変更せずに損失関数のみを置き換えることで、OpenSubtitlesでSOTAのユニグラム多様度（DIST-1 = 7.56）を達成し、BLEU-1スコアも高く維持する。MLEおよびMMIベースラインを上回る性能を発揮する。

ABSTRACT

Although generation-based dialogue systems have been widely researched, the response generations by most existing systems have very low diversities. The most likely reason for this problem is Maximum Likelihood Estimation (MLE) with Softmax Cross-Entropy (SCE) loss. MLE trains models to generate the most frequent responses from enormous generation candidates, although in actual dialogues there are various responses based on the context. In this paper, we propose a new objective function called Inverse Token Frequency (ITF) loss, which individually scales smaller loss for frequent token classes and larger loss for rare token classes. This function encourages the model to generate rare tokens rather than frequent tokens. It does not complicate the model and its training is stable because we only replace the objective function. On the OpenSubtitles dialogue dataset, our loss model establishes a state-of-the-art DIST-1 of 7.56, which is the unigram diversity score, while maintaining a good BLEU-1 score. On a Japanese Twitter replies dataset, our loss model achieves a DIST-1 score comparable to the ground truth.

研究の動機と目的

• 神経的対話生成における低多様性問題に対処すること。特に、'I don't know'のような一般的な応答を生成してしまう傾向があること。
• 生成品質を損なわず、複雑なモデル変更を要せず応答の多様性を向上させること。
• モデルがレアで文脈的に適切なトークンを生成するよう促す、シンプルで安定的かつ効果的な損失関数を開発すること。
• GAN、VAE、強化学習など、アーキテクチャ変更や事前学習を要する複雑な手法の代替手段を提供すること。

提案手法

• Softmax交差エントロピー（SCE）損失の頻度重み付き変種として、逆トークン頻度（ITF）損失を提案する。
• 損失に逆頻度スケーリングを適用する：$ w_c = 1 / \text{freq}(\text{token}_c)^\lambda $、ここで$ \lambda $は重み付けの強度を制御する。
• 重み付き損失$ L_{\text{ITF}} = w_c \cdot L_{\text{SCE}} $を用いることで、頻出トークンの勾配を低下させ、稀なトークンの勾配を増加させる。
• モデルアーキテクチャとトレーニングパイプラインをMLEと同一に保ち、目的関数のみを置き換える。
• トレーニングセット全体におけるトークン頻度を計算するために、サブワードトークン化（Sentencepiece、32kボキャブラリー）を採用する。
• $ \lambda $のハイパーパrameterをチューニングし、多様性とスムーズさのバランスを図り、最適性能は$ \lambda = 0.4 $で達成される。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャ変更なしに、シンプルで生成的でない損失関数が応答多様性を向上させられるか？
• RQ2 頻度に基づく損失重み付けは、'I don't know'のような一般的なフレーズの過剰使用を効果的に低減できるか？
• RQ3 ITF損失は、ユニグラム多様度（DIST-1）を顕著に向上させつつも、高い文法的整合性（BLEUで測定）を維持できるか？
• RQ4 GAN や VAE よりも高度な手法と比較して、ITF損失は多様性と学習安定性の面で優れているか？
• RQ5 ITF損失は、英語および日本語の対話データセットにおいて、より文脈的に適切で繰り返しの少ない応答を生成するか？

主な発見

• OpenSubtitlesデータセットにおいて、ITF損失モデルはSOTAのユニグラム多様度スコアDIST-1 = 7.56を達成し、MLEおよびMMIベースラインを顕著に上回った。
• ITFモデルは高いBLEU-1スコアを維持しており、多様性が向上しても依然として文法的整合性と一貫性が保たれていることを示している。
• 日本語のTwitter返信データセットにおいて、ITFモデルは正解データと同等のユニグラム多様度を達成しており、自然さと多様性の向上が示された。
• 人間による評価では、$ \lambda \leq 0.7 $の範囲では深刻な文法的ミスが見られず、安定的でスムーズな生成が確認された。
• ITF損失関数は学習中に安定しており、GAN や RL に基づく手法とは異なり事前学習を必要としない。
• 損失再重み付けのみで、MMIベースの推論モデルを上回る多様性と品質を達成した。これは、損失関数の再設計が単一の手法として強力な向上をもたらす可能性を示している。