[論文レビュー] Transfer Learning for Sequences via Learning to Collocate

Wanyun Cui, Guangyu Zheng+3 more|arXiv (Cornell University)|Feb 25, 2019

Topic Modeling被引用数 9

ひとこと要約

本稿では、注意メカニズムを用いてクロスドメインの語の共起を学習することで、セル単位の細分化された情報転送を可能にする、シーケンス向けの新しい転移学習フレームワークART（Aligned Recurrent Transfer）を提案する。対象ドメインの各RNNセルに、ソースドメインのシーケンスの対応する位置およびすべての位置からの隠れ状態を、学習された注意スコアで重み付けしてアラインメント・転送することにより、ARTはシーケンスラベル付けおよび分類タスクにおける性能を向上させ、SOTA手法を最大2.2%のF1スコア向上で上回る。

ABSTRACT

Transfer learning aims to solve the data sparsity for a target domain by applying information of the source domain. Given a sequence (e.g. a natural language sentence), the transfer learning, usually enabled by recurrent neural network (RNN), represents the sequential information transfer. RNN uses a chain of repeating cells to model the sequence data. However, previous studies of neural network based transfer learning simply represents the whole sentence by a single vector, which is unfeasible for seq2seq and sequence labeling. Meanwhile, such layer-wise transfer learning mechanisms lose the fine-grained cell-level information from the source domain. In this paper, we proposed the aligned recurrent transfer, ART, to achieve cell-level information transfer. ART is under the pre-training framework. Each cell attentively accepts transferred information from a set of positions in the source domain. Therefore, ART learns the cross-domain word collocations in a more flexible way. We conducted extensive experiments on both sequence labeling tasks (POS tagging, NER) and sentence classification (sentiment analysis). ART outperforms the state-of-the-arts over all experiments.

研究の動機と目的

• 層単位の転送学習の限界、すなわち細分化されたセル単位の情報を無視し、seq2seqおよびシーケンスラベル付けタスクでは実行不可能であるという点を是正すること。
• 大規模でドメインに依存しないコーパスではなく、ドメイン関連の小規模な事前学習コーパスを活用することで、リソースが限られたドメインにおける転送学習を改善すること。
• 注意メカニズムを用いてクロスドメインの語の共起を学習することで、ドメイン間の長期依存関係をモデル化すること。
• ソースドメインからの文脈的に関連する情報を統合することで、対象ドメインにおける単語のより正確な意味的表現を実現すること。

提案手法

• ARTは、対象ドメインの各RNNセルを拡張し、同じ位置およびソースドメインのすべての位置からの隠れ状態を、学習された注意スコアで重み付けして入力する。
• 注意メカニズムは、対象およびソースのシーケンスの位置間のアライメントスコアを計算し、意味的に共起する語を特定することで、長期依存関係の転送を可能にする。
• モデルは事前学習と微調整のフレームワークを採用している：まずドメイン固有のソースコーパスで事前学習を行い、次にラベル付きデータで対象ドメインで微調整する。
• 各対象語に対して、ARTはソースの対応位置の状態と、すべてのソース隠れ状態の重み付き和を組み合わせる。重みは注意スコアによって決定される。
• 本手法は長期記憶（セル状態c）と短期記憶（隠れ状態h）の両方の転送をサポートしており、特徴の判別力の高い学習を可能にする。
• ARTは汎用的であり、POSタギング、NER、センチメント分析を含むさまざまなシーケンスタスクに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 セル単位の情報転送は、層単位の転送と比較して、シーケンスラベル付けおよびseq2seqタスクの性能向上に寄与するか？
• RQ2 注意ベースのアライメントは、クロスドメインの語の共起を効果的に捉え、長期依存関係をモデル化できるか？
• RQ3 小規模でドメイン固有のソースコーパスで事前学習することは、リソースが限られた対象ドメインにおいて、大規模でドメインに依存しない事前学習を上回るか？
• RQ4 対象ドメインのトレーニングデータが限られている場合でも、ARTはソースドメインから細分化された意味的情報を効果的に転送できるか？

主な発見

• ARTは、すべての評価済みシーケンスラベル付けタスクでSOTA手法を上回り、PTBからTwitter/0.1に転送する際、HRNを2.2%上回るF1スコアを達成した。
• ARTはすべての設定で最高のパフォーマンスを示し、特に対象ドメインデータが中程度に豊富な場合（例：Twitter/0.1）に、FLORSを上回った。
• 注意行列の可視化により、ARTが意味的に重要な語（例：'pleased'、'easy to move'）を強く注目していることが確認され、効果的な共起学習が行われていることが示された。
• 長期記憶（c）と短期記憶（h）の注意パターンに差が認められ、ARTがそれぞれの記憶タイプに対して特徴的な判別力を持つ情報を捉えていることが示された。
• ARTは、非隣接な語（例：'sometimes' から 'hate' へ）間の長期依存関係を効果的にモデル化できており、リソースが限られた環境でも意味的理解を向上させた。
• ソースと対象ドメインが密接に関連している場合、ドメイン関連の小規模な事前学習が、大規模でドメインに依存しない事前学習よりも効果的であることがARTによって示された。