[論文レビュー] Recursive Subtree Composition in LSTM-Based Dependency Parsing

Miryam de Lhoneux, Miguel Ballesteros+1 more|arXiv (Cornell University)|Feb 26, 2019

Topic Modeling参考文献 27被引用数 8

ひとこと要約

この論文は、BiLSTMベースの遷移パラッサーにおける再帰的サブツリー構成を調査し、BiLSTMが多数のサブツリー情報を捉えているものの、再帰的構成は補完的な向上をもたらすことが判明した。特に前方LSTMのコンテキストが欠落している場合に顕著である。構成は前方LSTMをアブレーションした後の性能回復において最も効果的であり、これは構成が歴史に基づく特徴を捉えていることを示唆するが、全体として完全なBiLSTMが依然として優れている。

ABSTRACT

The need for tree structure modelling on top of sequence modelling is an open issue in neural dependency parsing. We investigate the impact of adding a tree layer on top of a sequential model by recursively composing subtree representations (composition) in a transition-based parser that uses features extracted by a BiLSTM. Composition seems superfluous with such a model, suggesting that BiLSTMs capture information about subtrees. We perform model ablations to tease out the conditions under which composition helps. When ablating the backward LSTM, performance drops and composition does not recover much of the gap. When ablating the forward LSTM, performance drops less dramatically and composition recovers a substantial part of the gap, indicating that a forward LSTM and composition capture similar information. We take the backward LSTM to be related to lookahead features and the forward LSTM to the rich history-based features both crucial for transition-based parsers. To capture history-based information, composition is better than a forward LSTM on its own, but it is even better to have a forward LSTM as part of a BiLSTM. We correlate results with language properties, showing that the improved lookahead of a backward LSTM is especially important for head-final languages.

研究の動機と目的

• BiLSTMがすでに階層的情報を捉えていることを踏まえ、再帰的サブツリー構成がBiLSTMベースの遷移パラッサーにおいて価値をもたらすかどうかを検証すること。
• 構成が性能を向上させる条件、特にBiLSTMの一部をアブレーションした場合を特定すること。
• 品詞タグと再帰的構成の間の冗長性が、文脈的特徴を捉える上でどの程度であるかを評価すること。
• 言語タイプ、特に主語の配置（主語-動詞-目的語 vs. 動詞-目的語-主語）が、構成の有効性および前方参照特徴の影響に与える影響を調査すること。

提案手法

• KiperwasserとGoldberg (2016b) のスタイルに従う遷移ベースパラッサーを採用し、特徴抽出にBiLSTMを用いる。
• BiLSTM出力の上に、ツリーLSTMに類似したメカニズムを用いてサブツリー表現の再帰的構成を導入する。
• 前方LSTM、後方LSTM、または両方をアブレーションし、構成あり・なしの両方で性能を評価するアブレーションスタディを実施する。
• 品詞タグと文字レベルの埋め込みをアブレーションして、構成との冗長性をテストする。
• 複数のモデルバージョンに対して再パラッセイング（Chu-Liu-Edmonds）を用いたアンサンブルデコードを実施し、補完的情報を評価する。
• 11言語におけるパラッセイング性能と、主語配置や平均アーキペークの深さなどの言語的特性の相関を分析する。

実験結果

リサーチクエスチョン

• RQ1 再帰的サブツリー構成がBiLSTM特徴抽出器と組み合わせて使用された場合、顕著な性能向上をもたらすのか、それとも冗長なのか？
• RQ2 構成が適用されている場合、前方LSTMまたは後方LSTMをアブレーションした際の性能差は、どのように比較されるか？
• RQ3 再帰的構成が文脈的特徴を捉える上で、品詞タグとどの程度冗長なのか？
• RQ4 構成の有効性は言語によって異なるのか。特に主語-動詞-目的語言語と動詞-目的語-主語言語の間で差が生じるか？
• RQ5 後方LSTMの前方参照能力は、特に主語-動詞-目的語言語においてパラッセイング性能にどのように影響を与えるか？

主な発見

• 後方LSTMをアブレーションすると顕著な性能低下が生じるが、構成ではこれを回復できない。これは前方参照特徴が重要であり、構成では完全に捉えられていないことを示唆する。
• 前方LSTMをアブレーションすると性能低下は小さいが、構成によって顕著に回復される。これは構成と前方LSTMが類似した豊かな履歴ベースの特徴を捉えていることを示す。
• 構成は品詞タグを除去した場合に最も効果的である。これは品詞タグと構成が文脈的特徴学習において部分的に冗長であることを示唆する。
• 後方LSTMの前方参照能力は、主語-動詞-目的語言語において特に重要であり、構成の恩恵は主語-動詞-目的語言語よりも主語-動詞-目的語言語で小さい。
• 構成あり・なしのモデルをアンサンブルすると、個々のモデルよりも高いUASが得られ、完全なアンサンブルではチェコ語で92.0 UAS、英語で87.2 UASを達成し、個々のコンponentを上回った。
• 平均アーキペークの深さと構成の有用性との間に明確な相関は見られず、構造的複雑さそのものが構成の有効性を決定づけるわけではないことが示唆された。