[論文レビュー] Editing Models with Task Arithmetic

Gabriel Ilharco, Marco Túlio Ribeiro+5 more|arXiv (Cornell University)|Dec 8, 2022

Machine Learning and Data Classification被引用数 31

ひとこと要約

この論文は、事前学習済みモデルを編集するための重み空間演算法であるタスクベクトルを導入します。微調整後と事前学習 weights の差分を計算することで、否定、加算、タスク間 analogies を活用して、追加の訓練なしにモデルの挙動を制御可能です。

ABSTRACT

Changing how pre-trained models behave -- e.g., improving their performance on a downstream task or mitigating biases learned during pre-training -- is a common practice when developing machine learning systems. In this work, we propose a new paradigm for steering the behavior of neural networks, centered around \textit{task vectors}. A task vector specifies a direction in the weight space of a pre-trained model, such that movement in that direction improves performance on the task. We build task vectors by subtracting the weights of a pre-trained model from the weights of the same model after fine-tuning on a task. We show that these task vectors can be modified and combined together through arithmetic operations such as negation and addition, and the behavior of the resulting model is steered accordingly. Negating a task vector decreases performance on the target task, with little change in model behavior on control tasks. Moreover, adding task vectors together can improve performance on multiple tasks at once. Finally, when tasks are linked by an analogy relationship of the form ``A is to B as C is to D", combining task vectors from three of the tasks can improve performance on the fourth, even when no data from the fourth task is used for training. Overall, our experiments with several models, modalities and tasks show that task arithmetic is a simple, efficient and effective way of editing models.

研究の動機と目的

• 重み空間におけるタスク方向に沿ってモデルの挙動を導く、軽量な事後訓練機構を提供する。
• タスクベクトルを否定して忘却したり望ましくない挙動を最小限の副作用で減らせることを示す。
• タスクベクトルの加算がマルチタスクモデルを生み出し、単一タスクの性能を改善する可能性を示す。
• データが乏しい領域間・サブ集団へ知識を転移するタスクアナロジーを探索する。

提案手法

• タスクベクトルを、タスクでの微調整後のモデルの重みと同じモデルの事前学習重みとの差分として定義する（τ_t = θ_ft^t − θ_pre）。
• タスクベクトルを用いて重みを更新する（θ_new = θ + λτ_new）、λ は保持検証で選択される可変スカラー。
• タスクベクトルに対する三つの演算を研究する：否定（−τ）、加算（Στ_i）、類推に基づく結合（τ_C + (τ_B − τ_A)）。
• オープンエンドなアーキテクチャ（画像と言語モデル）を対象に、複数のタスクとデータセットで編集の有効性と頑健性を評価する。

実験結果

リサーチクエスチョン

• RQ1 タスクベクトルを否定することで、ターゲットタスクの性能を低下させつつ、制御タスクの性能を維持できるか？
• RQ2 複数のタスクベクトルを加えることで、別々の微調整モデルを使用する場合と比べて競争力のあるマルチタスクモデルが得られるか？
• RQ3 タスクアナロジーは、該当タスクのラベル付きデータがほとんどない場合でもターゲットタスクの改善を転移できるか？
• RQ4 学習率とタスクの類似性がタスクベクトルの有用性に及ぼす影響は？

主な発見

• タスクベクトルを否定することで、ターゲットタスクの性能を大きく低下させることができる（例： ViT-L/14 で忘却時の平均ターゲット精度が45.8ポイント低下）一方で制御タスクへの影響は小さい。
• GPT-2 の毒性生成プロンプトに対するタスクベクトルを否定すると、毒性生成が4.8%から0.8%に低下する一方、WikiText-103 のパープレキシティは事前学習モデルに近い水準を維持できる（0.5ポイント以内）。
• 複数のタスクから得たタスクベクトルを加えると、個別の専門モデルを使用する場合と比べて競争力のある、あるいはそれを上回る単一モデルが得られる（正規化精度アプローチで2タスクを組み合わせるとほぼ98.9%以上、全体のマルチタスク精度はベクトルを追加するほど向上）。
• タスクアナロジー（A が B に対するように C は D というアナロジー）は、D のデータがほとんどない場合でもD のパフォーマンスを改善できることが、感情分析のドメイン一般化とサブ集団設定で示された。
• NLP では、外部タスクベクトルを微調整済みの T5 モデルに追加することで、GLUE タスク（MRPC、RTE、CoLA、SST-2 など）に対するターゲットタスクの精度を、ゼロショットまたはベースの微調整モデルと比較して改善できる。