[論文レビュー] Continual Learning with Knowledge Transfer for Sentiment Classification

Zixuan Ke, Bing Liu+2 more|arXiv (Cornell University)|Dec 18, 2021

Domain Adaptation and Few-Shot Learning参考文献 32被引用数 9

ひとこと要約

本稿では、知識ベースとアクセス性ネットワークを介した前向きおよび後向きの知識移譲を活用することで、新しいタスクおよび以前のタスクの両方の精度を向上させる、センチメント分類の継続的学習フレームワークKANを提案する。KANは最先端のベースラインを著しく上回り、24のタスクのうち21で最高の精度を達成し、悲観的忘却を伴わず、双方向の知識移譲を効果的に実現している。

ABSTRACT

This paper studies continual learning (CL) for sentiment classification (SC). In this setting, the CL system learns a sequence of SC tasks incrementally in a neural network, where each task builds a classifier to classify the sentiment of reviews of a particular product category or domain. Two natural questions are: Can the system transfer the knowledge learned in the past from the previous tasks to the new task to help it learn a better model for the new task? And, can old models for previous tasks be improved in the process as well? This paper proposes a novel technique called KAN to achieve these objectives. KAN can markedly improve the SC accuracy of both the new task and the old tasks via forward and backward knowledge transfer. The effectiveness of KAN is demonstrated through extensive experiments.

研究の動機と目的

• 機密性のため過去のタスクのデータが利用できない状況下で、継続的学習の文脈において、時間の経過とともにセンチメント分類の精度を向上させる課題に対処すること。
• 過去のデータを一切使用せずに、過去のタスクから新しいタスクへと知識を前向きに移譲できる仕組みを実現すること。
• 新しいタスクの学習中に、過去のモデルの性能を向上させる後向きの知識移譲を達成すること。
• 類似したセンチメント分類タスク間で共有される知識を活用することで、悲観的忘却の緩和に依存するのを減らすこと。
• 複数の製品ドメインをカバーする現実世界のセンチメント分析アプリケーションに特化したスケーラブルで頑健な継続的学習フレームワークの開発すること。

提案手法

• KANは二重ネットワークアーキテクチャを採用する：主な継続的学習（MCL）ネットワークに、過去のタスク知識を格納する知識ベース（KB）を備え、現在のタスクに適した過去の知識を選択するアクセス性（AC）ネットワークを有する。
• ACネットワークは、現在のタスクに応じて動的に関連する過去の知識を同定・取得することで、効果的な前向きの知識移譲を実現する。
• 新しいタスクの学習中に、KBに格納された共有知識が新しいタスクのデータを用いて精錬され、過去のタスクの性能向上をもたらす後向きの知識移譲が可能になる。
• 知識ベースは段階的に更新されるため、これまでに学習したすべてのタスクの知識を保持・強化することが可能になる。
• フレームワークは、タスク固有の分類損失に加え、知識蒸留と正則化を組み合わせた損失関数を用いることで、知識の保持と向上を実現する。
• 実験では、異なる製品ドメインからなる24のセンチメント分類タスクのシーケンスを用い、結果は10通りのランダムなタスク順序での平均値をとる。

実験結果

リサーチクエスチョン

• RQ1 過去のデータにアクセスできない状況下でも、継続的学習システムが過去のセンチメント分類タスクからの知識を効果的に新しいタスクの学習に活用できるか？
• RQ2 新しいタスクの学習が、同時に過去に学習したモデルの性能を後向きの知識移譲によって向上させられるか？
• RQ3 センチメントタスク間で共有される言語的パターンを活用することで、標準的な継続的学習手法と比較して、悲観的忘却の低減と全体的な精度の向上が達成できるか？
• RQ4 前向きおよび後向きの知識移譲メカニズムは、個別に、および組み合わせて、センチメント分類においてどの程度効果的か？
• RQ5 知識ベースとアクセス性ネットワークのアーキテクチャは、多様なセンチメント分類タスクにおいて、既存の継続的学習ベースラインを精度および頑健性の面で上回れるか？

主な発見

• KANは24の個別センチメント分類タスクのうち21で最高の平均精度を達成し、優れた性能と頑健性を示している。
• 前向き移譲の設定では、24のタスクを学習した後、KANは平均精度0.8524を達成し、次に優れたベースラインN-CL（0.8390）を著しく上回っている。
• 後向き移譲の観点では、KANは24のタスクを学習した後、過去に学習したタスクの平均精度をONEベースラインの0.7846から0.8524まで向上させ、時間の経過とともに顕著な知識強化を示している。
• 前向き移譲の効果が後向き移譲よりも強いことが判明した。これは、前向き移譲が初期段階でより効果的に過去の知識を活用しているためである。
• KANの後向き移譲は、追加のファインチューニングやリプレイを一切行わずに、過去のタスクの性能を一貫して向上させている。これは、知識の保持と強化が効果的に行われていることを示している。
• KANが絶対的最高スコアを達成しないケースであっても、その性能は常に競争力があり、多様な製品ドメインにわたる安定性と一般化能力を示している。