[論文レビュー] Generative Knowledge Transfer for Neural Language Models

Sungho Shin, Kyuyeon Hwang+1 more|arXiv (Cornell University)|Aug 14, 2016

Privacy-Preserving Technologies in Data参考文献 31被引用数 8

ひとこと要約

本稿では、ユーザーのデータを直接使用せずに生成されたテキストとソフトラベルのみを用いて、教師ネットワークから学生ネットワークへの知識伝達を行うプライバシー保護型手法、生成的知識移行（GKT）を提案する。この手法により、ユーザー固有の表現への適応を可能にしつつ、直接的なデータ暴露を回避する強力なプライバシー保護を実現する。特に、アンサンブルベースのソフトラベル集約により、プライバシーに配慮した強固な保護が達成され、ユーザー固有の表現への適応に特に有効である。

ABSTRACT

In this paper, we propose a generative knowledge transfer technique that trains an RNN based language model (student network) using text and output probabilities generated from a previously trained RNN (teacher network). The text generation can be conducted by either the teacher or the student network. We can also improve the performance by taking the ensemble of soft labels obtained from multiple teacher networks. This method can be used for privacy conscious language model adaptation because no user data is directly used for training. Especially, when the soft labels of multiple devices are aggregated via a trusted third party, we can expect very strong privacy protection.

研究の動機と目的

• モバイル機器やインターネット接続機器など、データ収集に伴うユーザーのプライバシー懸念が生じる環境において、ユーザー生成データを用いた言語モデルの訓練におけるプライバシー懸念に対処すること。
• ユーザーのデータやモデルパラメータに直接アクセスしない知識移行技術の開発により、メンバー推定攻撃やデータ再構築攻撃のリスクを低減すること。
• 新語やトレンド表現といったユーザー固有の言語パターンへの効果的適応を可能にしつつ、ソフトラベルの安全な集約を通じてユーザーのプライバシーを保護すること。
• 教師主導（TDGKT）と学生主導（SDGKT）の2つのバリエーションを検討し、特にSDGKTでは分散型テキスト生成により、より強いプライバシー保証を実現すること。

提案手法

• 事前に訓練済みのRNN言語モデル（教師）がテキストシーケンスと対応するソフトラベル確率を生成する教師-学生訓練フレームワークを採用する。
• 学生ネットワークは、元の訓練データやモデルパラメータにアクセスせずに、生成されたテキストと教師からのソフトラベルのみを用いて訓練される。
• TDGKTでは教師ネットワークが訓練用テキストを生成するが、SDGKTでは学生ネットワークがテキストを生成するが、依然として教師のソフトラベルから学習する。
• プライバシー強化のため、複数のユーザー端末の言語モデルがソフトラベルを生成し、信頼できる第三者機関がそれらを平均化して、中央集権的なメインサーバー言語モデルを訓練する。
• アンサンブルソフトラベルを活用することでモデルの汎化性能と耐性を向上させるとともに、ラベル集約段階でのノイズ注入により微分プライバシーを達成する。
• マルチサイクルSDGKTにより、教師にのみ知られている未知語（OOV語）が学生に伝達可能となり、進化する言語トレンドへの適応が保証される。

実験結果

リサーチクエスチョン

• RQ1 ユーザーのプライベート言語モデルからの知識伝達は、ユーザーのデータやモデルパラメータを暴露せずに実現可能か？
• RQ2 生成的知識移行は、プライバシーを保護しつつ、ユーザー固有の言語パターンへの適応をどの程度効果的に可能にするか？
• RQ3 単一の教師からのソフトラベルと複数教師のアンサンブルからのソフトラベルを用いた場合、言語モデル訓練における性能のトレードオフは何か？
• RQ4 教師主導GKT（TDGKT）と比較して、学生主導GKT（SDGKT）は同等のモデル性能を維持しながらより強いプライバシー保護を提供するか？
• RQ5 GKTは、直接的なデータアクセスなしに、教師から学生への未知語（OOV語）の知識伝達を効果的に可能にするか？

主な発見

• 100台のユーザー端末を用いた場合、メインサーバー言語モデルがSDGKTで訓練され、全テストデータ上で1.322のテストBPCを達成した。これは個々のユーザーモデルの平均BPC1.346を上回る性能であった。
• プライベートテストデータのBPCは、初期の事前訓練モデルの1.359から100台の端末を用いた段階で1.247に改善され、ユーザー固有の言語への適応が有効に達成されたことが示された。
• SDGKTとTDGKTはほぼ同等の性能を示したが、SDGKTは分散型テキスト生成により、より強いプライバシー保証を提供していた。
• マルチサイクルSDGKTにより、直接的な訓練データへのアクセスなしに、新語やトレンド表現といったOOV語を効果的に学習・適応することが可能であった。
• パブリックテストデータでは性能がわずかに低下（初期値1.301対1.334のBPC）したが、これはレアパブリック語彙の忘れが生じた可能性を示唆するが、プライベートデータへの適応という観点では小さなトレードオフであった。
• 100台のデバイスにおけるアンサンブルソフトラベル集約により、アンサンブルBPCは1.321にまで低下し、集団的知識移行がモデル品質の向上をもたらすとともに、プライバシーを保持していることが示された。