[論文レビュー] Neural Sequence Prediction by Coaching.

Wenhu Chen, Guanlin Li+4 more|arXiv (Cornell University)|Jun 28, 2017

Topic Modeling被引用数 1

ひとこと要約

本稿では、最大尤度推定におけるデータスパarsityと過学習を軽減するためのブリッジモジュールを導入することで、系列予測を向上させる新しいトレーニングフレームワーク、生成的ブリッジネットワーク（GBN）を提案する。生成器の出力と、正例に条件づけられたブリッジ分布とのKLダイバージェンスを最小化することで、GBNはモデルの信頼性、言語のなめらかさ、トレーニング効率を向上させ、機械翻訳および要約抽出タスクで顕著な向上を達成する。

ABSTRACT

In order to alleviate data sparsity and overfitting problems in maximum likelihood estimation (MLE) for sequence prediction tasks, we propose the Generative Bridging Network (GBN), in which a novel bridge module is introduced to assist the training of the sequence prediction model (the generator network). Unlike MLE directly maximizing the conditional likelihood, the bridge extends the point-wise ground truth to a bridge distribution conditioned on it, and the generator is optimized to minimize their KL-divergence. Three different GBNs, namely uniform GBN, language-model GBN and coaching GBN, are proposed to penalize confidence, enhance language smoothness and relieve learning burden. Experiments conducted on two recognized sequence prediction tasks (machine translation and abstractive text summarization) show that our proposed GBNs can yield significant improvements over strong baselines. Furthermore, by analyzing samples drawn from different bridges, expected influences on the generator are verified.

研究の動機と目的

• 最大尤度推定でトレーニングされる系列予測モデルにおけるデータスパarsityおよび過学習を解消すること。
• 直接尤度最大化をブリッジに基づく最適化目的に置き換えることで、モデルの一般化性能およびトレーニングの安定性を向上させること。
• 一様、言語モデル、コーチングの3つの異なるブリッジバリアントを用いて、モデルの信頼性、流暢さ、学習効率を向上させること。
• 標準的な系列生成ベンチマーク上で、提案フレームワークの有効性を実証的に検証すること。

提案手法

• ポイントワイズの正例を分布に変換するブリッジモジュールを導入し、より頑健なトレーニング信号を可能にする。
• 尤度を直接最大化するのではなく、生成器の出力とブリッジ分布とのKLダイバージェンスを最小化することで生成器を最適化する。
• 3つのバリエーションを設計：一様GBNは信頼性の正則化、言語モデルGBNは流暢さの向上、コーチングGBNは学習負荷の軽減。
• ブリッジ分布を正例系列に条件づけて、生成器をエンドツーエンドでブリッジベースの目的関数に従ってトレーニングする。
• トレーニング中にブリッジ分布を用いて、生成器がより多様で妥当な出力を指向するように誘導する。
• 機械翻訳および要約抽出などの系列予測タスクにこのフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 直接尤度最大化をブリッジベースの目的に置き換えることで、系列モデルにおける過学習およびデータスパarsityを軽減できるか？
• RQ2 ブリッジ分布は生成器の信頼性および出力品質にどのように影響するか？
• RQ3 一様、言語モデル、コーチングの異なるブリッジ設計は、モデル性能およびトレーニングダイナミクスをどの程度向上できるか？
• RQ4 追加のトレーニングデータを必要とせずに、ブリッジモジュールは生成系列の流暢さおよび多様性を向上させるか？
• RQ5 異なるブリッジ分布からの生成サンプルは、最終的な生成器の挙動にどのように影響を与えるか？

主な発見

• 提案されたGBNフレームワークは、機械翻訳および要約抽出タスクにおいて、強力なベースラインを顕著に上回る性能を達成する。
• コーチングGBNバリアントは生成器の学習負荷を効果的に軽減し、収束が速く、性能も優れている。
• 言語モデルGBNは、n-gram言語モデルの信号をトレーニング目的関数に組み込むことで、出力の流暢さを向上させる。
• 一様GBNバリアントは、予測における過信を低減させる信頼性の正則化に成功している。
• 異なるブリッジからのサンプルの分析は、それらが生成器に期待通りの影響を与えていることを確認し、フレームワークの設計原理を検証する。
• ブリッジベースのトレーニング目的関数は、標準的なMLEトレーニングに比べ、より多様で妥当な出力をもたらす。