[論文レビュー] Linking Emergent and Natural Languages via Corpus Transfer

Shunyu Yao, Mo Yu+4 more|arXiv (Cornell University)|Mar 24, 2022

Multimodal Machine Learning Applications被引用数 7

ひとこと要約

本稿では、コーパス転送を用いて、生成された通信言語（EC）と自然言語（NL）を橋渡しする手法を提案する。ECが生成したコーパスを事前学習済み言語モデルに用いることで、下流の画像キャプション生成タスクの性能が向上する。MS-COCOでEC由来の言語表現を微調整することで、特にNLデータが限られた状況下でも、豊富なNLデータが利用可能であっても、学習から再び開始する場合を上回る高速な適応が達成される。

ABSTRACT

The study of language emergence aims to understand how human languages are shaped by perceptual grounding and communicative intent. Computational approaches to emergent communication (EC) predominantly consider referential games in limited domains and analyze the learned protocol within the game framework. As a result, it remains unclear how the emergent languages from these settings connect to natural languages or provide benefits in real-world language processing tasks, where statistical models trained on large text corpora dominate. In this work, we propose a novel way to establish such a link by corpus transfer, i.e. pretraining on a corpus of emergent language for downstream natural language tasks, which is in contrast to prior work that directly transfers speaker and listener parameters. Our approach showcases non-trivial transfer benefits for two different tasks -- language modeling and image captioning. For example, in a low-resource setup (modeling 2 million natural language tokens), pre-training on an emergent language corpus with just 2 million tokens reduces model perplexity by $24.6\%$ on average across ten natural languages. We also introduce a novel metric to predict the transferability of an emergent language by translating emergent messages to natural language captions grounded on the same images. We find that our translation-based metric highly correlates with the downstream performance on modeling natural languages (for instance $ρ=0.83$ on Hebrew), while topographic similarity, a popular metric in previous work, shows surprisingly low correlation ($ρ=0.003$), hinting that simple properties like attribute disentanglement from synthetic domains might not capture the full complexities of natural language. Our findings also indicate potential benefits of moving language emergence forward with natural language resources and models.

研究の動機と目的

• 生成された通信言語（EC）言語が、下流の自然言語タスクの性能向上に有効に転送可能かどうかを調査すること。
• 視覚言語タスクにおける自然言語モデルの事前学習データとして、ECが生成したコーパスを用いる可能性を検討すること。
• 下流の自然言語データ量の変動に応じて、ECベースの事前学習が画像キャプション性能に与える影響を評価すること。
• 低リソースおよび高リソース環境下で、ECベースの事前学習と学習から再び開始する方法、およびNL事前学習を比較すること。

提案手法

• 著者らは、画像入力を用いた2エージェントの生成的通信ゲームを訓練することで、合成されたECコーパスを生成する。出力はGumbel-softmax正則化を施した離散トークンである。
• ECが生成したテキストを抽出・前処理し、言語モデルに適した形式に変換する。語彙数を4,035語に制限し、温度1のソフトGumbel-softmaxを用いる。
• 最適なハイパーパrameterを用いて、Hugging Faceのrun_clm.pyスクリプトを用いて、MS-COCOの画像キャプションデータで事前学習済み言語モデルを微調整する。具体的には、事前学習用の初期値として5×10⁻⁴の学習率、バッチサイズ32、3,000ステップごとにチェックポイントを保存。微調整では10⁻⁴の学習率、バッチサイズ8を設定。
• 本手法は、下流のデータスケール（5k, 50k, 全MS-COCO）を変化させながら、ECベースの事前学習と学習から再び開始する方法、および自然言語コーパス（es, ec, paren-zipf）での事前学習を比較する。
• 画像特徴はVinVLの事前処理済み検出特徴から抽出され、キャプションモデルはデフォルト設定を用いたFAIRSEQベースのコードベースで訓練される。
• 性能評価は、異なる微調整エポックおよびデータ環境下で、検証セットにおけるCIDErスコアを用いて実施される。

実験結果

リサーチクエスチョン

• RQ1 生成された通信言語（EC）言語は、下流の自然言語視覚言語タスクの性能向上に有効に転送可能か？
• RQ2 ECが生成したコーパスでの事前学習は、自然言語コーパスでの事前学習と比較して、下流の画像キャプション性能にどのように影響するか？
• RQ3 下流の自然言語データが限られた状況下で、ECベースの事前学習が性能優位性を示すか？
• RQ4 下流の学習データ量が増加するに従い、EC事前学習と学習から再び開始する方法との性能差はどのように変化するか？

主な発見

• ECが生成したコーパスでの事前学習は、特にMS-COCOの5,000サンプルのみを微調整に使用する状況下で、学習から再び開始する場合と比較して、収束が早く、性能も優れている。
• 50,000以上の下流サンプルがある場合、EC事前学習と学習から再び開始する方法との性能差は時間の経過とともに縮小するが、初期段階ではEC事前学習が優位性を示す。
• 語彙数2,500語、エントロピー3.7という小さく、低いエントロピーを持つECコーパスであっても、効果的な転移学習が可能であり、エントロピーがより高い（7.98）ランダムスピーカーECバージョンを上回る性能を発揮する。
• 最適な事前学習ハイパーパrameterは、学習率5×10⁻⁴、バッチサイズ32、3,000ステップごとのチェックポイント保存。微調整では学習率10⁻⁴、バッチサイズ8が最良の性能を発揮する。
• ECコーパスでの事前学習は、適応速度の向上をもたらすため、視覚言語モデルにおける有効なインダクティブバイアスとしてEC言語が機能することが示唆される。
• 豊富な下流NLデータが利用可能であっても、EC事前学習は初期学習段階で測定可能な利点を提供するため、データが限られた状況や少データ学習の場面での価値が示される。