[論文レビュー] A Dynamic Window Neural Network for CCG Supertagging

Huijia Wu, Jiajun Zhang+1 more|arXiv (Cornell University)|Oct 10, 2016

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、固定サイズの窓に代わって関連する文脈語を動的に選択できる学習可能なロジスティックゲートを用いた動的ウィンドウニューラルネットワークを、CCGスアップタギングに提案する。ドロップアウトをこれらのゲートに適用することで、単語レベルの正則化が実現され、汎化性能が向上し、MLPおよびRNNアーキテクチャの両方においてCCGBank 02-21テストセットで新たなSOTA性能を達成した。

ABSTRACT

Combinatory Category Grammar (CCG) supertagging is a task to assign lexical categories to each word in a sentence. Almost all previous methods use fixed context window sizes as input features. However, it is obvious that different tags usually rely on different context window sizes. These motivate us to build a supertagger with a dynamic window approach, which can be treated as an attention mechanism on the local contexts. Applying dropout on the dynamic filters can be seen as drop on words directly, which is superior to the regular dropout on word embeddings. We use this approach to demonstrate the state-of-the-art CCG supertagging performance on the standard test set.

研究の動機と目的

• 既存のCCGスアップタギング手法における固定文脈ウィンドウサイズの制限を解決すること。これは、語のあいまいさのレベルが異なる文脈において柔軟に適応できない点に起因する。
• 各ターゲット語に対して最も情報をもたらす文脈語を学習する動的フィルタリング機構を導入することで、汎化性能の向上を図ること。
• 動的フィルタゲートにドロップアウトを適用することで、モデルのロバスト性を向上させ、単語レベルの正則化を効果的に行うこと。
• MLPおよびRNN（LSTMを含む）を含む複数のアーキテクチャにわたり、動的ウィンドウアプローチの有効性を示すこと。
• 文脈ウィンドウ内の学習済み注目パターンの可視化を通じて、解釈可能性を提供すること。

提案手法

• ターゲット語の周囲の局所的ウィンドウ内の各文脈語に対して、ロジスティックゲートを用いることで、ネットワークがどの文脈語に注目すべきかを学習可能にする。
• ゲート値は、文脈表現に微分可能関数であるシグモイド関数を適用することで計算され、エンドツーエンドの学習が可能になる。
• 訓練中にゲート値にドロップアウトを適用することで、文脈内の単語全体がマスクされ、単語レベルの正則化として機能する。
• 最終的な文脈表現は、ゲート付きの特徴量の連結によって形成され、高い活性化を持つゲートが主に寄与する。
• 本手法は、フィードフォワード（MLP）および再帰的（LSTM）ネットワークの両方へ適用可能であり、一貫した性能向上が得られた。
• 重み付き注目メカニズムやメモリネットワークに依存せずに、動的フィルタリングを通じて注目行動に類似した挙動を実現する。

実験結果

リサーチクエスチョン

• RQ1 学習可能で動的な文脈ウィンドウは、固定サイズのウィンドウと比較してCCGスアップタギング性能を向上させ得るか？
• RQ2 動的フィルタゲートにドロップアウトを適用することで、単語埋め込みに標準的なドロップアウトを適用するのと比較して、より良い汎化性能が得られるか？
• RQ3 訓練中に動的フィルタゲートはどのように適応するか？また、意味的に関連する文脈語に注目するよう学習されるか？
• RQ4 動的ウィンドウ機構は、フィードフォワードおよび再帰的ニューラルネットワークの両方に対して効果的に適用可能か？
• RQ5 モデルの注目行動は、近接する句構造に注目するといった言語的直観とどの程度整合するか？

主な発見

• 動的ウィンドウアプローチは固定ウィンドウモデルを著しく上回り、標準的なCCGBank 02-21テストセットでSOTA性能を達成した。
• 開発セットでは、動的ウィンドウを備えたLSTM（LSTM + dyn）は初期段階でベースラインを下回るが、20エポック目以降にそれを上回り、より良い汎化性能と過学習の低減を示した。
• 可視化の結果、収束後、モデルは遠く離れた文脈語を抑制し、近接する意味的に関連する語に注目するよう学習していることがわかった。
• 本手法はMLPおよびRNNアーキテクチャの両方で性能向上をもたらし、広範な適用可能性を示した。
• 動的ゲートにドロップアウトを適用することで、顕著な性能向上が得られ、単語レベル正則化としての有効性が裏付けられた。
• スタックドバイリバースLSTMを用いた場合、ウィンドウサイズを1にした際、開発セットで1-best精度93.9%を達成し、文脈ウィンドウの適応性の重要性が示された。