[論文レビュー] BERT as a Teacher: Contextual Embeddings for Sequence-Level Reward

Florian Schmidt, Thomas Hofmann|arXiv (Cornell University)|Mar 5, 2020

Topic Modeling参考文献 50被引用数 7

ひとこと要約

本論文は、n-gramカウントの代わりに文脈的BERT埋め込みを用いることで、非条件的テキスト生成のための新しいシーケンスレベルの報酬関数を提案する。BERT埋め込みを「BERT-grams」としてクラスタリングし、埋め込みベースの類似度を計算することで、長距離依存関係を捉え、n-gram報酬よりも優れたスケーラブルな単語単位の報酬信号を提供する。強化学習において、より高品質で多様性に富んだシーケンスの生成を実現する。

ABSTRACT

Measuring the quality of a generated sequence against a set of references is a central problem in many learning frameworks, be it to compute a score, to assign a reward, or to perform discrimination. Despite great advances in model architectures, metrics that scale independently of the number of references are still based on n-gram estimates. We show that the underlying operations, counting words and comparing counts, can be lifted to embedding words and comparing embeddings. An in-depth analysis of BERT embeddings shows empirically that contextual embeddings can be employed to capture the required dependencies while maintaining the necessary scalability through appropriate pruning and smoothing techniques. We cast unconditional generation as a reinforcement learning problem and show that our reward function indeed provides a more effective learning signal than n-gram reward in this challenging setting.

研究の動機と目的

• n-gramベースの報酬に起因するシーケンスレベル強化学習の限界、すなわちスパarsity、1文字あたりの信号欠如、長距離意味を捉えられない点を是正すること。
• BERTからの文脈的単語埋め込みを活用し、より表現力がありスケーラブルな報酬関数を構築することで、自然に単語ごとの寄与度をサポートすること。
• 出力元の入力がない非条件的生成において、参照シーケンスのコーパスから学習する必要があるため、効果的な強化学習訓練を可能にすること。
• 事前学習済みの文脈的埋め込みが、従来のn-gram統計に比べて報酬モデリングの優れた基盤となるかどうかを検証すること。
• 提案報酬が、報酬スパarsityとポリシーの崩壊に直面しても、品質と多様性の両方を向上させることを評価すること。

提案手法

• 参照シーケンスの各トークンをBERTでエンコードすることで、n-gramカウントの代わりにBERTベースの埋め込み類似度を導入する。
• ベクトル量子化を用いて、コーパスサイズに依存しないスケーラブルな代表的「BERT-grams」の集合に、得られたBERT埋め込みをクラスタリングする。
• 生成されたシーケンスの報酬を、参照コーパス内の最も近いBERT-gramsとの類似度の合計として計算する。
• 訓練中の堅牢性と効率性を維持するため、BERT-grams表現に対してプリーニングとスムージング技術を適用する。
• 非条件的テキスト生成のためのREINFORCEベースの強化学習フレームワークに、得られた埋め込みベースの報酬を適用する。
• GPT-2のパープレキシティで測定される品質と、一意なn-gram比で測定される多様性の両方を最適化するように、ポリシーネットワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 文脈的埋め込み（例：BERT）がn-gram統計に置き換え可能であり、スケーラビリティを維持できるか。
• RQ2 埋め込みベースの報酬が、カウントベースのn-gram報酬に比べて、より細かく粒度の細かい単語単位の学習信号を提供できるか。
• RQ3 BERT-gramsが、参照コーパス内に存在する長距離依存関係や複雑な意味をどの程度捉えることができるか。
• RQ4 出力元の入力がない非条件的生成において、提案報酬がどの程度の性能を示すか。
• RQ5 BERTベースの報酬を用いることで、強化学習ベースのテキスト生成で一般的に見られるモード崩壊と多様性の欠如が緩和されるか。

主な発見

• BERT-gram報酬は、GPT-2のパープレキシティが著しく低くなるなど、すべての評価指標でn-gram報酬を上回り、より高いシーケンス品質を示した。
• BERT-gram報酬を用いて訓練されたポリシーは、n-gramベースラインと比較して、一意なシーケンス（ρ）、2-gram（ρ2）、4-gram（ρ4）の比率が高いため、より高い多様性を持つシーケンスを生成した。
• 訓練中の報酬上昇が急で持続的であるのに対し、n-gram報酬は早期に飽和するなど、BERT-gram報酬がn-gram報酬よりも効果的な学習信号を提供していることが示された。
• 性能向上にもかかわらず、両方の報酬関数ともポリシーの崩壊を引き起こしており、BERT-gram報酬では95%、n-gram報酬では99%の生成シーケンスが直接話法を用いており、強いモードバイアスが確認された。
• 極端なクラスタリングに対しても、BERT埋め込みの表現力が保たれていることから、大規模な参照コーパスに対しても、本手法は表現力とスケーラビリティに優れていることが示された。
• 本研究では、より表現力のある報酬関数を用いても、根本的なREINFORCE訓練法が非条件的生成において依然としてモード崩壊を引き起こすことが確認された。