[論文レビュー] Weighted Training for Cross-Task Learning

Shuxiao Chen, Koby Crammer+3 more|arXiv (Cornell University)|May 28, 2021

Topic Modeling参考文献 34被引用数 6

ひとこと要約

本稿では、ソースタスクとターゲットタスク間の表現ベースのタスク距離を最小化することで、適応的にサンプル重みを割り当てる、クロスタスク学習のためのTarget-Aware Weighted Training (TAWT) を提案する。TAWTは、理論的保証と最小限のハイパーパrameterチューニングを伴い、低リソースNLPシーケンスタグギングタスクにおけるBERTの性能を平均で3.1%絶対値向上させる。

ABSTRACT

In this paper, we introduce Target-Aware Weighted Training (TAWT), a weighted training algorithm for cross-task learning based on minimizing a representation-based task distance between the source and target tasks. We show that TAWT is easy to implement, is computationally efficient, requires little hyperparameter tuning, and enjoys non-asymptotic learning-theoretic guarantees. The effectiveness of TAWT is corroborated through extensive experiments with BERT on four sequence tagging tasks in natural language processing (NLP), including part-of-speech (PoS) tagging, chunking, predicate detection, and named entity recognition (NER). As a byproduct, the proposed representation-based task distance allows one to reason in a theoretically principled way about several critical aspects of cross-task learning, such as the choice of the source data and the impact of fine-tuning.

研究の動機と目的

• クロステスク学習における理論的理解の欠如、特にディープラーニング環境下での課題を解決すること。
• サンプル効率を向上させるための実用的で効率的かつ理論的根拠を持つ方法を開発すること。
• ソースデータの価値やクロステスク転送におけるファインチューニングの必要性について、整合的な推論を可能にすること。
• 既存の転移学習フレームワークが共有表現を仮定する強い仮定を克服すること。
• 豊富なハイパーパrameterチューニングを必要とせず、事前学習と共同学習を強化する軽量で学習可能な重み付けスキームを提供すること。

提案手法

• TAWTは、ソースタスクとターゲットタスク間の表現ベースのタスク距離を最小化することで、適応的なサンプル重み付けを誘導する。
• この手法は、タスク固有の関数ではなく、最適なソースタスクとターゲットタスクの表現の乖離に基づいてタスク距離を計算する。
• ターゲットタスクの表現に整合性を高めるために、学習可能な適応的重みをソースサンプルまたはタスクに割り当てる。
• このアルゴリズムは、マルチタスク学習における事前学習や共同学習といった既存のパラダイムと互換性を持つ。
• 理論的分析により、非漸近的一般化バウンドが得られ、最小化されたタスク距離に依存する消える項が含まれる。
• すべてのタスクに共通の表現を仮定する強い仮定を回避し、より柔軟で解釈可能な転送を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ディープニューラルネットワークにおけるクロステスク学習の理論的裏付けと、その効率性をどのように向上させられるか。
• RQ2 与えられたターゲットタスクに対して、ソースデータの価値を整合的かつ定量的に測定する方法は何か。
• RQ3 クロステスク学習において、いつファインチューニングが必要となり、表現の乖離をどのように検出できるか。
• RQ4 ソースタスクまたはサンプルに対して、軽量で効果的かつ理論的根拠を持つ重み付けスキームを設計できるか。
• RQ5 表現ベースのタスク距離を最小化することで、低リソース環境における一般化性能がどのように向上するか。

主な発見

• TAWTは、低リソースのターゲットデータ環境下で、4つのNLPシーケンスタグギングタスク（品詞タグギング、チャンクング、述語検出、NER）において平均で3.1%の絶対的向上を達成する。
• 表現ベースのタスク距離は、最適なソース表現とターゲット表現の乖離を反映する解釈可能なソースデータ品質の指標を提供する。
• この手法は、表現ベースのタスク距離がゼロでない場合、ソース表現が最適なターゲット表現に収束しないことから、ファインチューニングが必要であることを示している。
• TAWTは最小限のハイパーパrameterチューニングで実現可能であり、計算的にも効率的で、実世界の展開に実用的である。
• 理論的分析により、タスク距離項が再重み付けのおかげで無視できるほど小さくなる非漸近的一般化バウンドが確認され、一般化性能の向上を支持する。
• 実験的結果は、限られたターゲットデータでもBERTを用いた多様なNLPタスクにおいて一貫した性能向上を示しており、本手法の頑健性と有効性を検証している。