[論文レビュー] Modelling Latent Skills for Multitask Language Generation

Kris Cao, Dani Yogatama|arXiv (Cornell University)|Feb 21, 2020

Topic Modeling参考文献 49被引用数 4

ひとこと要約

この論文では、タスク埋め込みの混合ガウス分布を用いて、複数の言語生成タスク間で共有される潜在的スキルを明示的にモデル化する潜在変数を備えたシーケンス・ツー・シーケンスモデルを提案する。このモデルはマルチタスク性能を向上させ、潜在タスク空間における推論を用いたロバストな少サンプル適応を可能にし、安定性において標準的な微調整を上回り、全体的な性能は同等を達成する。

ABSTRACT

We present a generative model for multitask conditional language generation. Our guiding hypothesis is that a shared set of latent skills underlies many disparate language generation tasks, and that explicitly modelling these skills in a task embedding space can help with both positive transfer across tasks and with efficient adaptation to new tasks. We instantiate this task embedding space as a latent variable in a latent variable sequence-to-sequence model. We evaluate this hypothesis by curating a series of monolingual text-to-text language generation datasets - covering a broad range of tasks and domains - and comparing the performance of models both in the multitask and few-shot regimes. We show that our latent task variable model outperforms other sequence-to-sequence baselines on average across tasks in the multitask setting. In the few-shot learning setting on an unseen test dataset (i.e., a new task), we demonstrate that model adaptation based on inference in the latent task space is more robust than standard fine-tuning based parameter adaptation and performs comparably in terms of overall performance. Finally, we examine the latent task representations learnt by our model and show that they cluster tasks in a natural way.

研究の動機と目的

• 多様なタスク間で共有される潜在的スキルをモデル化することで、マルチタスク条件付き言語生成の性能を向上させること。
• 潜在タスク空間における推論を用いて、少ない例での新しい未観測タスクへの効率的適応を可能にすること。
• タスク固有のスキルを明示的にモデル化することで、標準的なベースラインよりも優れた一般化性能と性能が得られることを示すこと。
• 学習済み潜在空間におけるタスクのクラスタリングが意味的に意味のあるものであるかを評価すること。

提案手法

• 各成分が訓練タスクに対応する混合ガウス分布から抽出される潜在変数 z を用いたシーケンス・ツー・シーケンスアーキテクチャを採用する。
• 生成時に潜在タスク変数 z がサンプリングされ、エンコーダーとデコーダーの両方に条件付けられるため、同じ入力に対してスキルに応じて異なる出力が得られる。
• 各タスク内での共有スキルを促進するインダクティブバイアスを与えるために、データセット識別子を弱い教師信号として用いて訓練する。
• 潜在空間における推論により、モデルパラメータの更新なしに少サンプル適応が可能になる。具体的には、少サンプル例と最も整合性の高い z をサンプリングすることで実現する。
• 潜在空間のプローブを通じて、タスクが意味的類似性に従って自然にクラスタリングされるかどうかを分析する。
• 多様なテキスト・ツー・テキスト生成タスクにおいて、マルチタスクおよび少サンプル学習設定の両方でモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 連続的なタスク埋め込み空間における潜在的スキルのモデル化は、複数の言語生成タスクにおける性能向上に寄与するか？
• RQ2 潜在タスク空間における推論ベースの適応は、少サンプル設定において標準的な微調整を上回るか？
• RQ3 学習された潜在タスク表現は意味的に整合性があり、類似したタスクが自然にクラスタリングされるか？
• RQ4 マルチタスクおよび少サンプル環境において、このモデルの性能は強力なベースラインと比較してどうなるか？

主な発見

• 提案手法はマルチタスク設定において強力なシーケンス・ツー・シーケンスベースラインを上回り、全タスクの平均性能が向上している。
• 少サンプル設定では、潜在空間における推論ベースの適応が、標準的な微調整と同等の性能を達成している一方で、ハイパーパramータの選択に対してよりロバストである。
• モデルはタスク間で正の転送を示しており、特にリソースが限られたタスクにおいて顕著な性能向上が見られた。
• 潜在空間のプローブにより、タスクが意味的類似性に従って自然にクラスタリングされていることが判明し、意味的で分離されたスキル表現が学習されていることが示された。
• モデルの性能はタスク数に敏感であるため、事前にタスク数が固定されていない場合には性能が低下する可能性がある。