[論文レビュー] DIRECTOR: Generator-Classifiers For Supervised Language Modeling

Kushal Arora, Kurt Shuster+2 more|arXiv (Cornell University)|Jun 15, 2022

Topic Modeling被引用数 9

ひとこと要約

この論文では、共通のデコーダー・パラメータと二重ヘッド（言語モデル化と分類のため）を持つ統合型言語モデルアーキテクチャ「Director」を紹介する。このアーキテクチャにより、標準的なテキストと望ましい／望ましくない生成例のラベル付きデータの両方を統合的に学習可能となり、最小限の速度コストで優れた安全性と一貫性が達成される。この手法は、再ランキングやガイド付き生成手法よりも、精度と効率の両面で優れている。

ABSTRACT

Current language models achieve low perplexity but their resulting generations still suffer from toxic responses, repetitiveness and contradictions. The standard language modeling setup fails to address these issues. In this paper, we introduce a new architecture, {\sc Director}, that consists of a unified generator-classifier with both a language modeling and a classification head for each output token. Training is conducted jointly using both standard language modeling data, and data labeled with desirable and undesirable sequences. Experiments in several settings show that the model has competitive training and decoding speed compared to standard language models while yielding superior results, alleviating known issues while maintaining generation quality. It also outperforms existing model guiding approaches in terms of both accuracy and efficiency.

研究の動機と目的

• 標準的な言語モデルが有毒で繰り返しや矛盾を含むテキストを生成するという限界を解消すること。
• 教師ありデータを用いて、望ましい（望ましい）生成例と望ましくない（望ましくない）生成例の両方を学習可能にする。
• 推論速度やモデル効率を損なわず、生成品質と安全性を向上させること。
• 毒性や繰り返しといった複数の望ましくない行動に一般化可能なフレームワークを提供すること。
• 分類ヘッドを併用した統合学習が、分離された再ランキングやモデルガイド付き手法を上回ることを示すこと。

提案手法

• 二重ヘッド・デコーダー・アーキテクチャを導入：標準的な言語モデル化ヘッドに加え、各デコーダー層に追加の分類ヘッドを設ける。
• ラベルなしテキストに対する標準的な言語モデル化損失と、望ましい／望ましくない生成を示すラベル付きデータに対する交差エントロピー損失を併用して、統合的に学習する。
• デコード中は、両ヘッドの予測を学習可能な混合重みを用いて統合し、トークン生成をガイドする。
• 二つのヘッド間でトランスフォーマー・デコーダーの大部分のパラメータを共有することで、効率性とパラメータ共有を維持する。
• 分布外またはラベルなしのラベルに対しても一般化を向上させるために、明示的なラベル正規化正則化を適用する。
• 繰り返しの検出（例：n-gramの繰り返し検出）による自動ラベリングを用いて、人為的ラベルなしで分類器を学習する。

実験結果

リサーチクエスチョン

• RQ1 統合型モデルアーキテクチャが、言語モデル化と望ましい／望ましくない生成の分類を同時に最適化できるか？
• RQ2 有毒または矛盾のある応答のラベル付き例を組み込むことで、標準的な言語モデル化に比べて生成品質と安全性が向上するか？
• RQ3 推論速度と精度の両面で、Directorの性能は再ランキングやFUDGE や PACER といったモデルガイド付き手法と比べてどうか？
• RQ4 人為的ラベルなしのネガティブ例を用いずに、自動ラベリングを用いることで、繰り返しを効果的に低減できるか？
• RQ5 パラメータ共有と重みの凍結戦略が、安全性向上を図る一方で言語モデル品質を維持できる能力に与える影響は何か？

主な発見

• Directorは、二重ヘッド構造を有しても、標準的な言語モデルと同等の効率的で高速な学習とデコードを達成している。
• 安全性および矛盾検出タスクにおいて、Directorは標準的な言語モデルに比べて、有毒で矛盾を含む生成を顕著に低減している。
• FUDGE や PACER よりも精度と速度の両面で優れており、別々のモデルを必要としないため、推論が8〜40倍速くなっている。
• 言語モデルの重みを凍結したモデルは性能が著しく低下しており、両ヘッドの共同微調整が効果的な分類に不可欠であることが示された。
• 明示的なラベル正規化正則化を適用することで、あいまいまたは欠落したラベルに対しても性能が向上しており、ラベルの不確実性に強いことが示唆された。
• 自動ラベリングによる繰り返しシーケンスを用いた場合、人為的ラベルなしで繰り返しを効果的に低減できており、広範な適用可能性が実証された。