[論文レビュー] Adapting BERT for Continual Learning of a Sequence of Aspect Sentiment Classification Tasks

Zixuan Ke, Xu Hu+1 more|arXiv (Cornell University)|Dec 5, 2021

Domain Adaptation and Few-Shot Learning被引用数 10

ひとこと要約

本稿では、自己注意機構に基づく継続的学習アダプタ（CLA）を用いて前向きおよび後向きの知識転送を可能にするとともに、継続的学習における深刻な忘却を防ぐ、アスペクトセンチメント分類（ASC）のための新しいBERTベースの継続的学習フレームワーク、B-CLを提案する。動的ルーティングを用いた共有知識抽出と、タスク固有のマスクによる分離により、B-CLは19個のASCタスクの連続処理において、新規タスクおよび旧タスクの両方で、すべてのベースラインを大きく上回る最先端の性能を達成する。

ABSTRACT

This paper studies continual learning (CL) of a sequence of aspect sentiment classification (ASC) tasks. Although some CL techniques have been proposed for document sentiment classification, we are not aware of any CL work on ASC. A CL system that incrementally learns a sequence of ASC tasks should address the following two issues: (1) transfer knowledge learned from previous tasks to the new task to help it learn a better model, and (2) maintain the performance of the models for previous tasks so that they are not forgotten. This paper proposes a novel capsule network based model called B-CL to address these issues. B-CL markedly improves the ASC performance on both the new task and the old tasks via forward and backward knowledge transfer. The effectiveness of B-CL is demonstrated through extensive experiments.

研究の動機と目的

• モデルが過去の知識を忘れないように、ドメイン特化されたセンチメントタスクの連続的学習に直面する継続的学習の課題に対処すること。
• 旧データにアクセスできない状況下でも、過去のタスクから新しいタスクの学習を加速できる前向きの知識転送を可能にすること。
• タスクマスクを用いてタスク固有の知識を分離することで、継続的学習における深刻な忘却を防ぐこと。
• キャプセルネットワークと動的ルーティングを統合した、新しい継続的学習アダプタ（CLA）を提案すること。
• 微調整されたBERT単体では、タスク特化型の表現が顕著であるため継続的学習に失敗することを示し、B-CLのような新規アーキテクチャの必要性を裏付けること。

提案手法

• B-CLは、キャプセルネットワークと動的ルーティングを用いた継続的学習アダプタ（CLA）を採用し、過去のタスクから共有知識を同定・転送する。
• CLAはルーティング機構を用いて類似性に基づいてアテンションヘッドをグループ化し、旧タスクの関連知識を新タスクに選択的に転送する。
• タスク固有のモジュール（TSM）を導入してタスク固有の表現を分離し、新タスクの学習における干渉を防ぐ。
• 知識共有モジュール（KSM）を用いて、タスク間で共有知識を集約・転送し、一般化性能と学習効率を向上させる。
• タスクマスクを用いて特定の知識を保護しつつ、現在のタスクと過去のタスクの両方の性能をバランスさせるマルチタスク損失関数を用いて、エンドツーエンドでモデルを訓練する。
• B-CLは事前学習済みBERTバックボーンに統合されており、トランスファーラーニングの利点を活かしつつ、継続的学習の能力を維持できる。

実験結果

リサーチクエスチョン

• RQ1 BERTベースのモデルは、過去のアスペクトセンチメント分類タスクから共有知識を効果的に抽出し、新タスクの学習を加速させることができるか？
• RQ2 タスクを逐次的に学習する際、継続的学習フレームワークは深刻な忘却を防げるか？
• RQ3 継続的学習アダプタにキャプセルネットワークと動的ルーティングを適用することで、標準的な微調整や正則化手法と比較して、知識転送と保持性能が向上するか？
• RQ4 B-CLは、EWC、OWM、HATなどの既存の継続的学習ベースラインと比較して、新タスクおよび以前に学習したタスクの両方で、性能に優れているか？
• RQ5 提案されたアーキテクチャは、19個の多様なASCタスクの連続処理において、前向きおよび後向きの両方の知識転送をどの程度効果的にサポートできるか？

主な発見

• B-CLは19個のASCタスク全体で平均Macro-F1スコア0.8140を達成し、次に良いベースライン（OWM）の0.7931を大きく上回った。
• B-CLの前向き転送性能（Macro-F1 0.7993）は、他のすべてのベースラインの前向き転送結果を上回り、強力な知識転送能力を示した。
• アブレーションスタディの結果、知識共有モジュール（KSM）とタスク固有モジュール（TSM）の両方が不可欠であることが確認され、いずれかを除去するとMacro-F1が8%以上低下した。
• 微調整されたBERTとAdapter-BERTは継続的学習（WDF）において劣悪な性能を示し、Macro-F1がそれぞれ0.4308および0.4481にまで低下した。これは、タスク特化型の表現による深刻な忘却のためである。
• B-CLの後向き転送は、Macro-F1を0.7993から0.8140へとわずかに向上させ、継続的な訓練がモデルの一般化能力をさらに洗練させることを示した。
• 結果から、BERT微調整単体ではタスク特化型の知識が顕著であるため継続的学習に失敗することが明らかとなり、B-CLのような新規アーキテクチャの必要性が裏付けられた。