[論文レビュー] Efficient Transfer Learning Schemes for Personalized Language Modeling using Recurrent Neural Network

Seunghyun Yoon, Hyeongu Yun+3 more|arXiv (Cornell University)|Jan 13, 2017

Topic Modeling参考文献 14被引用数 16

ひとこと要約

本稿では、LSTM-RNNを用いたパーソナライズド言語モデルの訓練のための効率的な転移学習スキームを提案しており、最小限のユーザーデータとデータ漏洩なしにモバイルデバイス上でファインチューニングを可能にする。一般言語モデルからの知識の転送と、レイヤーの凍結や余剰レイヤーの挿入といった技術を適用することで、ユーザー固有の会話パターンに高いスタイル類似度を達成しつつ、訓練コストを著しく削減し、プライバシーを保証する。

ABSTRACT

In this paper, we propose an efficient transfer leaning methods for training a personalized language model using a recurrent neural network with long short-term memory architecture. With our proposed fast transfer learning schemes, a general language model is updated to a personalized language model with a small amount of user data and a limited computing resource. These methods are especially useful for a mobile device environment while the data is prevented from transferring out of the device for privacy purposes. Through experiments on dialogue data in a drama, it is verified that our transfer learning methods have successfully generated the personalized language model, whose output is more similar to the personal language style in both qualitative and quantitative aspects.

研究の動機と目的

• ユーザーのデータをデバイス外に送信せずに、リソース制約のあるモバイルデバイス上でパーソナライズド言語モデリングを可能にすること。
• エンドツーエンドの訓練と比較して、パーソナライズド言語モデルの訓練に必要な計算リソースとデータ量を削減すること。
• 一般事前学習モデルからの転移学習を用いて、ユーザーのデータをローカルで訓練することで、ユーザーのプライバシーを保護すること。
• 限定的なターゲットデータ上で効率的なファインチューニングスキームを用いて、モデルの汎化性能とスタイル適合性を向上させること。

提案手法

• 大規模コーパス（例：WMT、'Friends'の台本）を用いて、高性能マシンで一般言語モデルを事前学習する。
• 事前学習済みモデルの最初の n レイヤーを、ユーザーのデバイス上のターゲットモデルに転送する。
• ユーザーのプライベートな会話データを用いて、転移学習スキーム（「固定n層」および「余剰レイヤー」）によるファインチューニングを実施する。
• 「固定n層」スキームでは、ベースモデルの最初の n レイヤーを凍結し、残りのレイヤーのみをファインチューニングする。
• 「余剰レイヤー」スキームでは、転送されたレイヤーの上に追加のレイヤーを挿入することで、パーソナライズドデータの表現能力を向上させる。
• モデルの適応はすべてモバイルデバイス上でローカルに実施され、ユーザーのデータがデバイス外に漏れることがないため、プライバシーが保証される。

実験結果

リサーチクエスチョン

• RQ1 限定的なプライベートユーザーデータのみを用いて、モバイルデバイス上でパーソナライズド言語モデルを効果的に訓練できるか？
• RQ2 一般言語モデルからの転移学習は、計算コストとデータ転送量を最小限に抑えつつ、パーソナライズド性能を向上させることができるか？
• RQ3 「固定n層」スキームと「余剰レイヤー」スキームのどちらが、パーソナライズド言語モデリングにおいてより優れた汎化性能とスタイル適合性を達成するか？
• RQ4 ファインチューニングされたモデルは、一般モデルと比較して、ターゲットユーザーの言語スタイルをどの程度正確に捉えているか？

主な発見

• 「余剰レイヤー」と「固定n層」スキームは、ベースラインモデルと比較して、はるかに高い汎化性能を達成しながら、訓練パラメータ数を著しく削減した。
• 定性的および定量的評価の両方で、パーソナライズド言語モデルがターゲットユーザーの会話スタイルに高い類似度を示した。
• 交差エントロピー損失が「Chandler」コーパスで最小値を示し、ターゲットユーザーの言語スタイルとの整合性が高かった。
• 「Friends」の台本で事前学習し、「Chandler」データでファインチューニングしたモデルは、他のキャラクターの会話と比較して、Chandler自身の実際の台詞に近い応答を生成した。
• 大規模なトレーニングデータが深層学習で通常必要とされるのとは対照的に、最小限のユーザーデータで効果的なパーソナライズが達成された。