[論文レビュー] Can Unconditional Language Models Recover Arbitrary Sentences

Nishant Subramani, Samuel R. Bowman+1 more|arXiv (Cornell University)|Jul 10, 2019

Topic Modeling被引用数 13

ひとこと要約

この論文は、再パrametr化された文の空間における適切な連続的表現を見つけることで、事前学習済みの無条件言語モデルが任意のターゲット文を回復できるかを調査する。効果的な符号化および復号化手法を用いることで、中程度のサイズの表現と標準的な言語モデルを用いて、任意の文をほぼ完全に回復できることを示している。

ABSTRACT

Neural network-based generative language models like ELMo and BERT can work effectively as general purpose sentence encoders in text classification without further fine-tuning. Is it possible to adapt them in a similar way for use as general-purpose decoders? For this to be possible, it would need to be the case that for any target sentence of interest, there is some continuous representation that can be passed to the language model to cause it to reproduce that sentence. We set aside the difficult problem of designing an encoder that can produce such representations and, instead, ask directly whether such representations exist at all. To do this, we introduce a pair of effective, complementary methods for feeding representations into pretrained unconditional language models and a corresponding set of methods to map sentences into and out of this representation space, the reparametrized sentence space. We then investigate the conditions under which a language model can be made to generate a sentence through the identification of a point in such a space and find that it is possible to recover arbitrary sentences nearly perfectly with language models and representations of moderate size.

研究の動機と目的

• 事前学習済みの無条件言語モデルが、連続的潜在表現を通じて任意の文を生成できるかどうかを検証すること。
• 任意の文が符号化され、言語モデルによって復号可能な連続的表現空間が存在するかどうかを調査すること。
• モデルの微調整を必要とせずに、この表現空間への文のマッピングおよびその逆マッピングの手法を開発すること。
• 事前学習済み言語モデルをゼロショットで一般用途の復号器として使用する可能性を評価すること。

提案手法

• 文が学習済みマッピング関数を用いて連続的ベクトルに埋め込まれる再パラメータ化された文の空間を導入する。
• 特定の文の生成を引き出すために、事前学習済み言語モデルに表現を入力する2つの補完的アプローチを提案する。
• 復号ヘッドを用いて表現空間から文の空間へマッピングすることで、再構成を可能にする。
• トレーニング中に表現と対応する文を一致させるためにコントラスト型の目的関数を用いる。
• ターゲット文を生成する潜在表現を特定する連続的最適化プロセスを採用する。
• 微調整なしにGPT-2 や BERT などの標準的な言語モデルを用いて、アプローチを検証する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの無条件言語モデルを、学習済み連続的表現を通じて任意の文を生成できるようにできるか？
• RQ2 ほぼ完全な文の回復を可能にするために、表現空間が満たすべき性質は何か？
• RQ3 提案された符号化および復号化手法は、潜在ベクトルからの文の再構成においてどの程度効果的か？
• RQ4 表現のサイズが、任意の文の回復能力にどの程度影響を及えるか？

主な発見

• 中程度のサイズの表現を用いることで、任意の文をほぼ完全な正確性で回復できることを同定した。
• 再パラメータ化された文の空間により、連続的ベクトルと自然言語の文との間で効果的なマッピングが可能になった。
• 事前学習済み言語モデルの微調整を一切必要とせず、高い再構成忠実度を達成した。
• 無条件言語モデルの潜在空間が、任意のターゲット文を符号化するのに十分な能力を有していることが示された。