[論文レビュー] Lexicon Learning for Few-Shot Neural Sequence Modeling

Ekin Akyürek, Jacob Andreas|arXiv (Cornell University)|Jun 7, 2021

Natural Language Processing Techniques参考文献 38被引用数 6

ひとこと要約

本稿では、独自の語彙翻訳メカニズムを用いて文脈に依存しないトークンレベルの翻訳規則を学習することで、少数例一般化を向上させる語彙ベースのニューラルシーケンスモデルを提案する。特に、ルールベースのアプローチを用いた語彙学習アルゴリズムでこのメカニズムを初期化することで、意味解析、指示従い、低リソース機械翻訳の分野で最先端の結果を達成し、1ショット語学習タスクにおいて最大2.2 BLEUポイントの向上を達成した。

ABSTRACT

Sequence-to-sequence transduction is the core problem in language processing applications as diverse as semantic parsing, machine translation, and instruction following. The neural network models that provide the dominant solution to these problems are brittle, especially in low-resource settings: they fail to generalize correctly or systematically from small datasets. Past work has shown that many failures of systematic generalization arise from neural models' inability to disentangle lexical phenomena from syntactic ones. To address this, we augment neural decoders with a lexical translation mechanism that generalizes existing copy mechanisms to incorporate learned, decontextualized, token-level translation rules. We describe how to initialize this mechanism using a variety of lexicon learning algorithms, and show that it improves systematic generalization on a diverse set of sequence modeling tasks drawn from cognitive science, formal semantics, and machine translation.

研究の動機と目的

• 少数のデータから一般化に失敗するニューラルシーケンスモデルの脆さを緩和すること、特に低リソース環境下でのシステム的一般化の失敗を解消すること。
• ニューラルモデルが語彙的および構文的情報を混同するという制限を克服し、構文構造からトークンレベルの翻訳規則を分離すること。
• 意味解析、指示従い、機械翻訳などのシーケンスtoシーケンスタスクにおける少数例学習の性能を向上させること。
• 情報理論的、アライメントベース、ルールベースの語彙学習アルゴリズムを用いた、語彙翻訳メカニズムの有効な初期化手法を調査すること。
• 語彙とデコーダーを同時に学習することで、固定された事前学習済み語彙よりも顕著な性能向上が得られるかどうかを評価すること。

提案手法

• ニューラルシーケンスデコーダーに、注意機構を用いたトークンレベルの翻訳規則を可能にする、ニューラルコピーメカニズムの一般化である語彙翻訳メカニズムを統合する。
• 相互情報量ベース（PMI）、IBM Model 2ベース（IBMM2）、および高精度な語対を特定するルールベースの初期化子を含む、さまざまな語彙学習アルゴリズムを用いて語彙翻訳メカニズムを初期化する。
• 温度スケーリング（τ）を用いたソフトアテンションメカニズムを導入し、学習中に語彙に対する微分可能なソフトアテンションを可能にする。
• 初期化後、語彙を固定し、固定済みおよび微調整済みの語彙バージョンを評価する。
• COGS（意味解析）、Colors（構成的一般化）、Tatoeba英語–中国語翻訳（低リソースMT）の多様なタスクにこのメカニズムを適用する。
• 標準的なLSTMベースのエンコーダデコーダフレームワークに、出力層に語彙メカニズムを追加し、学習されたトークンマッピングを介して翻訳を生成する。

実験結果

リサーチクエスチョン

• RQ1 学習された文脈非依存の語彙的翻訳規則は、少数例ニューラルシーケンスモデリングにおけるシステム的一般化を向上させることができるか？
• RQ2 情報理論的、アライメントベース、ルールベースの語彙学習アルゴリズムの中で、語彙翻訳メカニズムの初期化に最も効果的なのはどれか？
• RQ3 語彙とデコーダーのパラメータを同時に学習することで、固定された事前初期化語彙よりも顕著な性能向上が得られるか？
• RQ4 本手法は、実世界の低リソース機械翻訳、特に1ショット語学習においてどれほど有効か？
• RQ5 モデルの性能が、特にトレーニング精度が容易に達成できるタスクにおいて、語彙初期化子のインダクティブバイアスにどれほど依存しているか？

主な発見

• ルールベースの語彙初期化子を用いた語彙翻訳メカニズムは、COGS（0.83 F1）およびColors（テストセットで100％の正答率）で報告された最高性能を達成し、ベースラインを上回った。
• Tatoeba英語–中国語翻訳タスクでは、全テストセットでBLEUが1.2ポイント向上し、1ショット例（訓練データに一度しか出現しない語）では2.2ポイント向上した。
• ルールベースの初期化子は、すべてのタスクでPMIおよびIBMM2ベースの手法と同等またはそれを上回り、統計的推定よりも高精度な語彙ペアがより効果的であることを示唆した。
• 語彙を学習中に微調整しても、COGSでは1％未満のわずかな向上しか得られず、事前初期化された語彙の固定が重要かつ十分であることが示された。
• モデルはColorsデータセットで100％の正答率を達成し、構成的一般化のベンチマークとしての妥当性を示し、まれで未学習の構文構造に対しても頑健であることを示した。
• 本手法は合成タスクにとどまらず、実世界の低リソース機械翻訳においても強く、特にレアワードの迅速なマッピングに優れた性能を示した。