[論文レビュー] Forward and Backward Knowledge Transfer for Sentiment Classification

Hao Wang, Bing Liu+3 more|arXiv (Cornell University)|Jun 8, 2019

Domain Adaptation and Few-Shot Learning参考文献 29被引用数 23

ひとこと要約

本稿では、再訓練を伴わずに前向きおよび後向きの知識移転を可能にする、センチメント分類のための新規の生涯学習フレームワーク、Lifelong Naïve Bayes (LNB) を提案する。将来のタスクからの知識を直接的に生成モデルのパラメータに更新することで、過去のタスクのパフォーマンスを向上させつつも、効率性を維持し、順次的センチメント分類タスクにおける実験で、既存のベースラインを上回る性能を示した。

ABSTRACT

This paper studies the problem of learning a sequence of sentiment classification tasks. The learned knowledge from each task is retained and used to help future or subsequent task learning. This learning paradigm is called Lifelong Learning (LL). However, existing LL methods either only transfer knowledge forward to help future learning and do not go back to improve the model of a previous task or require the training data of the previous task to retrain its model to exploit backward/reverse knowledge transfer. This paper studies reverse knowledge transfer of LL in the context of naive Bayesian (NB) classification. It aims to improve the model of a previous task by leveraging future knowledge without retraining using its training data. This is done by exploiting a key characteristic of the generative model of NB. That is, it is possible to improve the NB classifier for a task by improving its model parameters directly by using the retained knowledge from other tasks. Experimental results show that the proposed method markedly outperforms existing LL baselines.

研究の動機と目的

• 再訓練を実施しない限り、過去のタスクのモデルを改善できないという、既存の生涯学習手法の限界を解消すること。
• 将来のタスクの知識を活用して、過去のタスク分類器を向上させる逆方向の知識移転を可能にする。
• 過去のデータの再訓練を一切行わず、保持されたモデルパラメータのみを用いて、センチメント分類のパフォーマンスを向上させる手法を開発すること。
• 順次学習における生成モデル（例：Naïve Bayes）において、後向き知識移転の可能性を検討すること。
• 提案手法が、センチメント分類タスクにおいて、将来および過去の両方のタスクのパフォーマンス向上にどの程度効果的であるかを評価すること。

提案手法

• 本手法は、Naïve Bayes の生成モデルパラメータ、特に語彙-クラス条件付き確率 $ P(w_k|c_j) $ を用いる。これらのパラメータは各タスクの学習後に保存される。
• 本手法は、過去のタスクのモデルパラメータを、元の学習データにアクセスせずに、将来のタスクからの知識を用いて更新するルールを定式化する。
• 主な洞察は、生成モデルのパラメータが、新たな知識を統合するのに十分であり、他のタスクからの知識に基づいて $ P(w_k|c_j) $ を直接的に再修正可能であるということである。
• 本手法は、すべての以前に学習済みのタスクからの知識の重み付き組み合わせを用いて、ターゲットタスクのパラメータを精緻化し、その精度を向上させる。
• タスクは順番に処理される順次学習の設定で、知識ベースに段階的に知識が更新される。
• 本手法では、$ \lambda = 0.1 $ のラプラススムージングを用い、パラメータの更新は将来のタスクからの知識の相対的信頼度に基づいて計算される。

実験結果

リサーチクエスチョン

• RQ1 将来のセンチメント分類タスクからの知識を、元のデータを再訓練せずに、過去のタスクのモデル向上に活用できるか？
• RQ2 保持された過去タスクの生成モデルパラメータのみを用いて、生涯学習設定で後向き知識移転を達成できるか？
• RQ3 順次的センチメント分類タスクにおいて、提案手法は既存の生涯学習ベースラインと比較してどの程度のパフォーマンスを示すか？
• RQ4 前向きおよび後向きの知識移転を同時に適用した場合、モデルの精度にどのような影響を与えるか？
• RQ5 Naïve Bayes の生成的性質を活用することで、再訓練を伴わない効率的なタスク間のモデル向上が可能か？

主な発見

• 提案された LNB メソッドは、センチメント分類タスクにおいて、既存の生涯学習ベースラインを顕著に上回り、後向き知識移転の有効性を実証した。
• 将来のタスクからの知識を用いて、過去のタスクのモデルパラメータを直接更新することで、再訓練を伴わずにも顕著なパフォーマンス向上を達成した。
• 10個のランダムに生成されたドメインシーケンスにおける実験結果から、すべてのタスクで一貫した改善が観察され、特に後続のタスクで最も顕著な向上が得られた。
• 後向き知識移転機構は、将来の知識を活用して過去のモデルを精緻化するのに効果的であり、本論文の核心仮説を裏付けた。
• 再訓練を回避し、保存されたモデルパラメータのみを変更するため、本手法は高い効率性を維持しており、長期間にわたるタスクシーケンスに対してもスケーラブルである。
• 結果から、生成モデルのパラメータ構造が、元の学習データが存在しない状況下でも、効果的かつ直接的なタスク間知識移転を可能にすることが確認された。