[論文レビュー] Towards Unsupervised Language Understanding and Generation by Joint Dual Learning

Shang‐Yu Su, Chao-Wei Huang+1 more|arXiv (Cornell University)|Apr 30, 2020

Topic Modeling参考文献 30被引用数 5

ひとこと要約

本論文は、自然言語理解（NLU）と自然言語生成（NLG）の構造的双対性を活用することで、教師あり学習と教師なし学習を柔軟に統合できる一般化された共同デュアル学習フレームワークを提案する。NLUとNLGモデルをサイクルで訓練する（それぞれが生成した出力を元の入力に再構築する）ことで、両タスクの性能が向上し、教師ありおよび強化学習信号を用いたベンチマークデータセットで最先端の結果を達成する。

ABSTRACT

In modular dialogue systems, natural language understanding (NLU) and natural language generation (NLG) are two critical components, where NLU extracts the semantics from the given texts and NLG is to construct corresponding natural language sentences based on the input semantic representations. However, the dual property between understanding and generation has been rarely explored. The prior work is the first attempt that utilized the duality between NLU and NLG to improve the performance via a dual supervised learning framework. However, the prior work still learned both components in a supervised manner, instead, this paper introduces a general learning framework to effectively exploit such duality, providing flexibility of incorporating both supervised and unsupervised learning algorithms to train language understanding and generation models in a joint fashion. The benchmark experiments demonstrate that the proposed approach is capable of boosting the performance of both NLU and NLG.

研究の動機と目的

• 教師なし学習設定におけるNLUとNLGの間の双対関係に関する探求が不足しているという問題に取り組む。
• NLUおよびNLGモジュールの教師ありおよび教師なし学習を統合する一般化された学習フレームワークを開発する。
• NLUとNLGの構造的双対性を共同最適化によって活用することで、両タスクの性能を向上させる。
• デュアル学習フレームワーク内での異なる強化学習信号（例：トークンレベルの尤度、自動評価指標、結合分布推定）の有効性を調査する。

提案手法

• フレームワークはデュアルサイクルを採用する：プライマルサイクルは意味フレームから出発し、NLGでテキストを生成し、NLUで元のフレームに再構築する。デュアルサイクルは逆方向に進み、発話から意味を再構築する。
• モデルは教師あり損失と強化学習の目的関数の組み合わせで訓練され、両サイクルを通じて勾配が逆伝播される。
• 強化学習信号は2か所に適用される：中間サイクル（NLG出力に対して）と終了サイクル（NLU再構築に対して）、それぞれ異なる勾配目的関数を持つ。
• フレームワークは特定のアーキテクチャに依存せず、GRUに全結合層を組み合わせたようなさまざまなモデルと統合可能である。
• 異なる報酬関数を評価する：トークンレベルの尤度、文／フレームレベルの自動評価指標（例：BLEU、ROUGE）、およびMADEによるコーパスレベルの結合分布推定。
• 訓練プロセスはアルゴリズム1で形式化されており、両サイクルで順方向および逆方向のパスを交互に実行することで、両モデルを同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 NLUとNLGの双対性は、教師なしまたは弱教師あり設定で効果的に活用可能か？
• RQ2 デュアル学習による共同訓練は、独立した訓練と比較してNLUおよびNLGの性能にどのように影響を与えるか？
• RQ3 トークンレベル、文レベル、または分布ベースの強化学習信号のうち、どのタイプがデュアル学習フレームワークで最も高い性能向上をもたらすか？
• RQ4 提案されたフレームワークは、統一された訓練スキームで教師ありおよび教師なし学習戦略の両方をサポートできるか？

主な発見

• 提案されたデュアル学習フレームワークは、ベンチマークデータセット上でNLUおよびNLGの両方の性能を顕著に向上させ、独立して訓練されたベースラインモデルを上回る。
• 文またはフレームレベルの自動評価指標（例：BLEU、ROUGE）を強化学習の報酬として用いることで最良の性能が得られ、評価指標への直接的な最適化が生成品質の向上に寄与することが示された。
• MADEを用いた結合分布推定による学習も性能向上を示し、データ分布からの間接的フィードバックがNLUの頑健性向上に寄与することが示唆された。
• トークンレベルの尤度信号は限定的な追加的利益をもたらすにとどまり、学習プロセスを誘導するには高レベルの指標の方が効果的であることが示された。
• 定性的な分析により、フレームワークが両サイクル間で意味的コンテンツを効果的に保持しており、デュアル変換プロセスにおける情報損失が最小限に抑えられていることが確認された。