[論文レビュー] Unsupervised Transfer Learning via BERT Neuron Selection

Mehrdad Valipour, En-Shiun Annie Lee+2 more|arXiv (Cornell University)|Dec 10, 2019

Topic Modeling参考文献 47被引用数 6

ひとこと要約

本論文は、BERTにおけるタスク固有のニューロン選択を用いた、ファインチューニングを伴わない非教師付き転移学習手法を提案する。感情分析、自然言語推論、文類似度の3つのNLP分類タスクにおいて、全モデルのファインチューニングを行わず、最も重要なニューロンを全層から特定・選択することで性能を向上させる。わずか数百の解釈可能なニューロンで最先端の結果を達成し、BERTの最終層表現を著しく上回り、転送可能性がタスク固有のニューロンファINGERPRINTの類似度と相関していることを示している。

ABSTRACT

Recent advancements in language representation models such as BERT have led to a rapid improvement in numerous natural language processing tasks. However, language models usually consist of a few hundred million trainable parameters with embedding space distributed across multiple layers, thus making them challenging to be fine-tuned for a specific task or to be transferred to a new domain. To determine whether there are task-specific neurons that can be exploited for unsupervised transfer learning, we introduce a method for selecting the most important neurons to solve a specific classification task. This algorithm is further extended to multi-source transfer learning by computing the importance of neurons for several single-source transfer learning scenarios between different subsets of data sources. Besides, a task-specific fingerprint for each data source is obtained based on the percentage of the selected neurons in each layer. We perform extensive experiments in unsupervised transfer learning for sentiment analysis, natural language inference and sentence similarity, and compare our results with the existing literature and baselines. Significantly, we found that the source and target data sources with higher degrees of similarity between their task-specific fingerprints demonstrate a better transferability property. We conclude that our method can lead to better performance using just a few hundred task-specific and interpretable neurons.

研究の動機と目的

• 大規模な事前学習言語モデルを低リソースドメインに全ファインチューニングを伴わずに適応させる課題に対処すること。
• 非教師付き転移学習のための、ドメインをまたいで一般化可能なタスク固有のニューロンをBERTで同定すること。
• 全BERT層から最も関連性の高いニューロンのみを効率的かつ解釈可能に選択するスケーラブルな手法を開発すること。
• タスク固有のニューロンファINGERPRINTの類似度が、データソース間の転送可能性を予測できることを示すこと。
• アーキテクチャの変更なしに、感情分析、NLI、文類似度の非教師付き転移学習で既存のベースラインを上回ること。

提案手法

• ランダムサンプリングと蓄積を用いて安定性を確保する全BERT層のニューロンに重要度スコアを割り当てる単一ソースニューロン選択アルゴリズムであるSingleTSNSを提案。
• 複数のデータサブセットペアごとに別個のニューロン重要度学習器を訓練し、結果をメタアグレゲーターで統合することでメタ重要度スコアを計算する多ソース手法MultiTSNSに拡張。
• メタ重要度スコアから最も重要なニューロンのみを保持する特徴選択を適用し、モデルサイズを数百ニューロンに削減。
• タスク固有のファINGERPRINTとして、各層ごとの選択されたニューロンの割合を定義し、データソースの言語的特徴をコンactかつ解釈可能な表現として提供。
• 多ソース転移学習における限られたソースデータサンプルを複数のソースに公平に割り当てるためにウォーター・フィリングアルゴリズムを導入。
• 複数のソースペアからの重要度指標をメタアグレゲーターで統合し、多様なデータソースの有効な統合を可能にし、一般化性能の向上を実現。

実験結果

リサーチクエスチョン

• RQ1 BERTの全層にわたる小さなタスク固有ニューロン集合が、全最終層表現を用いる場合と比較して、非教師付き転移学習性能を優れて達成できるか？
• RQ2 ソースドメインとターゲットドメインのタスク固有ニューロンファINGERPRINTの類似度が、ゼロショット転移学習における転送可能性を予測できるか？
• RQ3 ニューロン選択を用いた多ソース転移学習は、特に多様なデータソースを組み合わせた場合に、単一ソースアプローチを上回る性能を達成できるか？
• RQ4 提案手法のニューロン選択は、感情分析、自然言語推論、文類似度といった多様なNLPタスクで解釈可能かつ有効であるか？
• RQ5 本手法は、BERTアーキテクチャのファインチューニングやターゲットデータのラベルなしに、最先端の結果を達成できるか？

主な発見

• MultiTSNSは、感情分析の非教師付き転移学習で現在の最先端を上回り、わずか500ニューロンでBERTの最終層表現よりも平均3.0%の向上を達成。
• SciTail NLIベンチマークでは、異なるソース組み合わせにおいて、BERTベースライン比3.8%から13.0%の向上を達成し、SingleTSNS比最大9.5%の向上を記録。
• QQPおよびSciTailデータセットにおいて、従来報告のなかった非教師付き転移学習タスクに対しても顕著な性能向上を示し、広範な適用可能性を実証。
• 転送性能はファINGERPRINT類似度と強く相関しており、タスク固有のニューロンファINGERPRINTが類似するソース・ターゲットペアほど高い転送結果を示す。
• タスク固有のファINGERPRINT（選択されたニューロンの層別割合）は、データソースの言語的特徴をコンactかつ解釈可能かつ予測可能な表現を提供する。
• MultiTSNSによる500ニューロンの選択は、BERTの1024個の最終層ニューロンを用いる場合よりも優れた性能を達成しており、高精度を達成するには全モデルのファインチューニングが必ずしも必要でないことを示している。