[論文レビュー] Shallow Syntax in Deep Water

Swabha Swayamdipta, Matthew E. Peters+3 more|arXiv (Cornell University)|Aug 29, 2019

Topic Modeling参考文献 31被引用数 9

ひとこと要約

本論文は、文脈的単語表現に浅い句構造（例：フレーズチャンク）を組み込むことで、NLPタスクの性能が向上するかを調査している。2つの手法を提案する：予測された浅い解析構造でELMoを事前学習する、および下流モデルにチャンク特徴を追加する。97％の高精度なチャンキング（F1スコア）を達成したが、どちらのアプローチともELMo単体のベースラインを顕著に上回ることはなく、プローブ解析によりELMoの表現がすでに句構造知識を含んでいることが確認された。これにより、明示的な浅い句構造の認識は不要であることが示された。

ABSTRACT

Shallow syntax provides an approximation of phrase-syntactic structure of sentences; it can be produced with high accuracy, and is computationally cheap to obtain. We investigate the role of shallow syntax-aware representations for NLP tasks using two techniques. First, we enhance the ELMo architecture to allow pretraining on predicted shallow syntactic parses, instead of just raw text, so that contextual embeddings make use of shallow syntactic context. Our second method involves shallow syntactic features obtained automatically on downstream task data. Neither approach leads to a significant gain on any of the four downstream tasks we considered relative to ELMo-only baselines. Further analysis using black-box probes confirms that our shallow-syntax-aware contextual embeddings do not transfer to linguistic tasks any more easily than ELMo's embeddings. We take these findings as evidence that ELMo-style pretraining discovers representations which make additional awareness of shallow syntax redundant.

研究の動機と目的

• 浅い句構造がNLPにおける文脈的単語表現を改善するかを評価すること。
• 予測された浅い句構造で学習したELMo風の表現が、性能を向上させるかを調査すること。
• 文脈的単語表現に自動抽出されたチャンク特徴を組み込むことで、下流モデルに与える影響を評価すること。
• 浅い句構造に意識的な文脈的表現が、言語的プローブタスクにどれほど効果的に転送できるかを特定すること。
• 事前学習に構文的監視を統合するためのトレーニング方式を比較すること。

提案手法

• 前駆語とその予測された浅い句構造チャンクの両方に条件づけられる共同事前学習目的を用いて、ELMoを強化する。
• CoNLL 2000とPenn TreebankでBiLSTM-CRFモデルを学習し、97％（F1スコア）の高精度な浅い句構造アノテーションを生成する。
• 感情分析やNERなどの下流モデルに、予測されたチャンク特徴を統合する（例：バイアテンショントランスフォーマー）。
• 段階的トレーニングアプローチを適用：まずシーケンスエンコーダーを事前学習し、その後、構文エンコーダーを固定または微調整しながらトレーニングを継続する。
• Liuら（2019）のブラックボックス言語的プローブを用いて、文脈的埋め込み表現内の構文知識の転送性を評価する。
• 効率性と性能の観点から、エンドツーエンドトレーニングと段階的トレーニング（固定または微調整済み構文エンコーダー）を比較する。

実験結果

リサーチクエスチョン

• RQ1 予測された浅い句構造でELMoを事前学習することで、下流NLPタスクの性能が向上するか？
• RQ2 文脈的単語表現と組み合わせた自動抽出チャンク特徴が、追加の利点をもたらすか？
• RQ3 浅い句構造に意識的な文脈的表現は、標準的なELMo表現よりも言語的プローブタスクに効果的に転送できるか？
• RQ4 構文に意識的な事前学習のための段階的トレーニング戦略は、エンドツーエンドトレーニングに比べて、効率性と正確性の両面で優れているか？
• RQ5 ELMoの事前学習が、どれほどまでに構文知識をすでに捉え込んでいるか。これにより、明示的な構文統合は冗長であると結論づけられるか？

主な発見

• mSynCの事前学習手法および自動チャンク特徴の追加の両方とも、ELMo単体のベースラインと比較して、4つの下流タスク（NER、センチメント、パーサー、コアリフレンス）で顕著な性能向上を示さなかった。
• 微細なNERタスクでは、構文エンコーダーを固定したmSynCモデルが87.36 ± 0.02 F1を達成し、エンドツーエンドトレーニング（86.89 ± 0.11）を上回り、微調整済みmSynC（87.44 ± 0.07）に近い性能を示した。
• 言語的プローブタスクでは、mSynCはチャンクタギングで96.9 F1を達成し、浅い構文を正しく表現していることが確認されたが、9つの他のプローブタスクのうち7つでELMoより劣った。
• ブラックボックスプローブの結果、mSynCからELMoに比べて構文知識の転送性に顕著な向上は認められず、ELMoがそのような情報を効果的に捉え込んでいることが示された。
• エンドツーエンドトレーニング方式は段階的トレーニングに比べて性能が劣っており、長時間のトレーニングが必要である可能性を示唆しているが、計算コストが非常に高く（2枚のV100で1エポックあたり36時間）、実用的ではない。
• 全体として、結果はELMo風の事前学習が、下流タスクにおいて明示的な浅い句構造認識を不要にするような表現を既に学習していることを示唆している。