[論文レビュー] CLASSIC: Continual and Contrastive Learning of Aspect Sentiment Classification Tasks

Zixuan Ke, Bing Liu+2 more|arXiv (Cornell University)|Dec 5, 2021

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本稿では、推論時にタスクIDを必要としないドメインインクリメンタル学習（DIL）設定におけるセンチメント分類のための、新しい継続的で対照的な学習フレームワークであるCLASSICを提案する。アダプタベースのBERT微調整、対照的知識蒸留、タスクマスクを活用することで、ドメイン間で共有知識を効果的に転送し、崩壊的忘却を軽減する。90.22%の正確性と19タスクのベンチマークにおける85.12%のマクロF1スコアを達成し、最先端の性能を実現する。

ABSTRACT

This paper studies continual learning (CL) of a sequence of aspect sentiment classification(ASC) tasks in a particular CL setting called domain incremental learning (DIL). Each task is from a different domain or product. The DIL setting is particularly suited to ASC because in testing the system needs not know the task/domain to which the test data belongs. To our knowledge, this setting has not been studied before for ASC. This paper proposes a novel model called CLASSIC. The key novelty is a contrastive continual learning method that enables both knowledge transfer across tasks and knowledge distillation from old tasks to the new task, which eliminates the need for task ids in testing. Experimental results show the high effectiveness of CLASSIC.

研究の動機と目的

• 推論時にタスクIDが不明であるドメインインクリメンタル学習（DIL）設定における継続的センチメント分類（ASC）の挑戦に応えること。
• 順次実行されるASCタスクにおいて、崩壊的忘却を克服すると同時に、ドメイン間での知識転送を可能にすること。
• すべての過去および新しいタスクを処理できる統合型モデルを訓練することで、推論時にタスク識別子の必要性を排除すること。
• 前向きおよび後向きの知識転送を可能にする、対照的学習手法の開発

提案手法

• 崩壊的忘却を軽減するために、事前学習済みBERTパラメータを保持しつつ、タスク固有の適応を可能にするアダプタベースのBERT微調整を採用する。
• タスク間の表現を一致させることで共有知識を転送する、新しい対照的継続的学習手法を導入する。
• すべての過去タスクからの知識を現在のモデルに転送するため、対照的アンサンブル蒸留を適用する。これにより、最終モデルはタスクIDなしですべてのタスクを分類可能になる。
• 学習可能なタスクマスクを用いてタスク固有の知識を分離・保護し、干渉と忘却を最小限に抑える。
• 異なるタスクからの類似するサンプルが類似した表現を持つよう促す対照的損失を用いて、エンドツーエンドでモデルを訓練する。
• 過去のタスクモデルからの知識蒸留を現在のモデルに統合することで、古いタスクのパフォーマンスを維持する。

実験結果

リサーチクエスチョン

• RQ1 推論時にタスクIDを必要としない状況において、多様なドメイン間で共有知識を効果的に転送できる継続的学習フレームワークは、センチメント分類において実現可能か？
• RQ2 BERTベースのモデルを用いた継続的センチメント分類において、崩壊的忘却はどのように軽減できるか？
• RQ3 DIL設定において、対照的学習は順次ASCタスク間での知識転送とモデル一般化をどの程度向上させるか？
• RQ4 提案手法は、順次ASCタスクにおける正確性と頑健性の観点から、既存の継続的学習ベースラインを上回るか？
• RQ5 対照的知識蒸留とアダプタ微調整により訓練された単一の統合モデルは、タスク固有のヘッド選択なしに、すべての過去および新しいタスクで高い性能を達成できるか？

主な発見

• CLASSICは19タスクのドメインインクリメンタル学習ベンチマークで90.22%の正確性と85.12%のマクロF1スコアを達成し、すべての最先端ベースラインを顕著に上回った。
• アブレーションスタディの結果、対照的知識共有、対照的教師あり学習、対照的アンサンブル蒸留の各コンポーネントが性能向上に寄与しており、フルモデルが最良の結果をもたらした。
• 前向き転送が有効であることが示され、CLASSIC(forward)からCLASSICに改善が見られた。さらに後向き転送により性能が向上し、成功した知識保持が裏付けられた。
• LAMOL、KAN、HATですら、エントロピーに基づくタスク識別子を追加した場合でさえ、CLASSICはそれらを上回った。これは、DIL設定における優位性を証明するものである。
• モデルはすべてのタスクで強く性能を維持しており、初期タスクでも劣化が見られず、崩壊的忘却の有効な緩和が確認された。
• 対照的学習コンポーネントにより一般化性能が顕著に向上し、特に不均衡な設定においても、すべてのタスクでマクロF1が一貫して向上した。