[論文レビュー] Dual Supervised Learning for Natural Language Understanding and Generation

Shang‐Yu Su, Chao-Wei Huang+1 more|arXiv (Cornell University)|May 15, 2019

Topic Modeling参考文献 22被引用数 6

ひとこと要約

本稿では、自然言語理解（NLU）と自然言語生成（NLG）モデルを、意味と発話の同時分布を整列させる正則化項を用いて、確率的双対性を強制することで、同時に訓練する二重の教師あり学習フレームワークを提案する。この手法により、独立した学習ベースラインと比較して、両タスクにおいてF1（NLU）およびBLEU/ROUGE（NLG）スコアが顕著に向上する。

ABSTRACT

Natural language understanding (NLU) and natural language generation (NLG) are both critical research topics in the NLP field. Natural language understanding is to extract the core semantic meaning from the given utterances, while natural language generation is opposite, of which the goal is to construct corresponding sentences based on the given semantics. However, such dual relationship has not been investigated in the literature. This paper proposes a new learning framework for language understanding and generation on top of dual supervised learning, providing a way to exploit the duality. The preliminary experiments show that the proposed approach boosts the performance for both tasks.

研究の動機と目的

• 自然言語理解（NLU）と自然言語生成（NLG）の間の二重関係を調査する。NLUは発話を意味にマッピングし、NLGは意味を発話にマッピングするという逆のタスクである。
• この二重性を学習目的に統合する新しい訓練フレームワークを開発する。
• 二重性制約を組み込んだ多目的最適化により、NLUとNLGの両方のモデルを同時に最適化することで、モデル性能を向上させる。
• 特に、マスク付き自己オートエンコーダを用いた意味フレームのための、および発話のための言語モデルを用いた、周辺データ分布の推定方法を設計する。これは二重性を強制するために不可欠である。
• 二重性を活用することで、意味表現における複雑な依存関係をモデル化する際、一般化性能と耐障害性が向上することを実証的に検証する。

提案手法

• NLUとNLGモデルを同時に訓練する多目的最適化問題を定式化し、確率的二重性を強制する制約を導入する：P(x)P(y|x) = P(y)P(x|y)。
• ラグランジュ緩和を用いて二重性制約を損失関数に組み込み、正則化項 l_duality = (log P̂(x) + log P(y|x; θ_x→y) - log P̂(y) - log P(x|y; θ_y→x))² を導入する。
• 意味フレームの周辺分布 P̂(x) は、10種類の異なるランダムマスクと順序を用いたマスク付き自己オートエンコーダで推定され、スロット-値ペア間の複雑な依存関係をモデル化する。
• 発話の周辺分布 P̂(y) は、自然言語シーケンスにおける標準的な言語モデルによって推定される。
• モデルアーキテクチャは、双方向GRUと2つの全結合層を用い、NLUとNLGの間で構造を対称的に共有することで、共有表現学習を可能にする。
• 訓練にはミニバッチAdamを用い、バッチサイズ64、訓練エポック数10、隠れ状態次元200、学習可能な単語埋め込み次元50を設定する。

実験結果

リサーチクエスチョン

• RQ1 NLUとNLGの間で確率的二重性を強制することで、両タスクの性能を同時に向上させることができるか？
• RQ2 周辺分布推定法の選択が、NLUおよびNLGにおける二重学習の有効性に与える影響は何か？
• RQ3 二重性正則化を用いた同時学習は、独立した学習と比較して一般化性能が向上するか？
• RQ4 マスク付き自己オートエンコーダを用いて意味フレーム内のスロット間依存関係をモデル化する場合と、独立性を仮定する場合とでは、性能にどのような差が生じるか？
• RQ5 異なるラグランジュ乗数の値は、二重学習目的関数におけるトレードオフと性能にどのように影響するか？

主な発見

• 提案された二重教師あり学習フレームワークは、NLUおよびNLGの両方の評価指標で、独立学習ベースラインを上回る性能を示し、二重性を活用することの有効性を実証している。
• より強い正則化（低いラグランジュパラメータ）を適用した場合、F1（0.812）およびBLEU（18.7）スコアが上昇し、二重性の強化が性能向上に寄与することが示された。
• アブレーションスタディの結果、マスク付き自己オートエンコーダを用いて意味フレーム内の依存関係をモデル化した場合、独立性を仮定した場合と比較して優れた結果が得られ、F1は0.812から0.789に低下した。
• 本手法は、NLUではより正確なスロット-値予測を可能にし、NLGではより情報量が多く、滑らかな発話を生成する点で、ベースラインより優れた性能を示した。
• 意味フレーム分布の推定にアンサンブルベースのマスク付き自己オートエンコーダを用いることで、性能が顕著に向上した。これは複雑な依存関係のモデル化の重要性を裏付けている。
• 同時学習スキームにより、ROUGE-LやF1といった複数の指標で一貫した改善が見られ、一般化性能の向上が裏付けられた。