[論文レビュー] Deep Semi-Supervised Learning with Linguistically Motivated Sequence Labeling Task Hierarchies

Jonathan Godwin, Pontus Stenetorp+1 more|arXiv (Cornell University)|Dec 29, 2016

Natural Language Processing Techniques参考文献 19被引用数 6

ひとこと要約

本論文は、品詞タギング（POS）タギング、 chunking、言語モデル作成という、文脈的に意味のある順序付けられた系列ラベリングタスクの階層を用いた、深層半教師付き学習フレームワークを提案する。下位のタスクは教師ありであり、上位のタスクである教師なし言語モデルが誤差逆伝播を通じて表現を正則化する。この手法は、chunkingタスクで最大2.1ポイントのF1スコア向上を達成し、学習されたラベル埋め込みが意味的な句構造を捉えていることを示している。

ABSTRACT

In this paper we present a novel Neural Network algorithm for conducting semi-supervised learning for sequence labeling tasks arranged in a linguistically motivated hierarchy. This relationship is exploited to regularise the representations of supervised tasks by backpropagating the error of the unsupervised task through the supervised tasks. We introduce a neural network where lower layers are supervised by junior downstream tasks and the final layer task is an auxiliary unsupervised task. The architecture shows improvements of up to two percentage points F1 for Chunking compared to a plausible baseline.

研究の動機と目的

• NLPタスク（POS、chunking、言語モデル）間の階層的関係が、半教師付き学習にどう活かせるかを調査すること。
• 共有された深層ネットワークアーキテクチャ内で複数のタスクを同時に最適化することで、系列ラベリングの一般化性能を向上させること。
• 階層的教師付き学習から得られる低次元ラベル埋め込みが、意味的な言語的構造（例：句境界）をどのように捉えているかを調査すること。
• 事前学習済み単語埋め込みが存在する場合としない場合の、半教師付き学習の有効性を評価すること。
• 特にラベル付きデータが限られた状況下でのモデルの頑健性を評価すること。

提案手法

• モデルは、最初の隠れ層でPOSタギング（教師あり）、2番目の隠れ層でchunking、最終層で言語モデル作成（教師なし）を行うマルチタスク双方向GRUネットワークを採用する。
• 上位層の教師なし言語モデルタスクが、階層全体を通じて一貫性のない予測をペナルティ化することで、誤差逆伝播による正則化を提供する。
• 各タスクの間には、ラベルタグの密な低次元表現を学習するための学習可能な埋め込み層を挿入する。
• 共有された隠れ層から上位タスクへのスキップ接続により、必要に応じて下位の表現を飛ばして上位タスクに直接入力できる。
• 総損失は、各タスクの個別交差エントロピー損失の平均であり、欠損ラベルがある場合はその対応する損失項を無視する。
• 誤差逆伝播を用いてエンドツーエンドで訓練され、教師なし言語モデルタスクからの勾配が、下位の教師ありタスク（POSおよびchunking）に影響を与える。

実験結果

リサーチクエスチョン

• RQ1 教師ありおよび教師なしの系列ラベリングタスクを統合した階層的ニューラルネットワークアーキテクチャは、NLPの系列ラベリングタスクの性能向上に寄与するか？
• RQ2 教師なし言語モデルタスクからの誤差を教師ありタスク（POSおよびchunking）に逆伝播させることで、より良い一般化および表現学習が達成されるか？
• RQ3 学習されたラベル埋め込みが、句境界のような意味的な言語的構造をどの程度捉えているか？
• RQ4 事前学習済み単語埋め込みを用いる場合と使わない場合とで、提案された半教師付き学習アプローチの有効性はどのように異なるか？
• RQ5 特に訓練データの1%しか利用できないような低データ環境下でも、モデルの性能はどの程度頑健か？

主な発見

• 事前学習済み埋め込みを使用しない状況で、半教師付き学習を適用した結果、CoNLLのchunkingタスクでF1スコアが最大2.1ポイント向上した。
• Geniaバイオメディカルデータセットでは、事前学習済み埋め込みを使用しない半教師付き学習により、chunkingタスクで0.4ポイント、POSタスクで0.3ポイントのF1スコア向上を達成した。
• 事前学習済み単語埋め込みを用いた場合、半教師付き学習の向上幅は小さくなった（例：chunkingで+0.4%、POSで+0.1%）。これは、埋め込みに既に一部の正則性が反映されている可能性を示唆している。
• 1%の訓練データという低データ環境下でも、一貫した性能向上が確認され、chunkingタスクで0.7ポイント、POSタスクで0.8ポイントのF1スコア向上を達成した。
• ラベル埋め込みのT-SNE可視化では、対角線に沿った明確なクラスタリングが観察され、学習された埋め込みが句の開始（'b'）や終了（'i'）ラベルのような文法的構造を捉えていることが示された。
• 階層的マルチタスク学習に教師なし補助タスクを組み合わせることで、特にラベル付きデータが限られる状況下でも一般化性能が向上することが明らかになった。