[논문 리뷰] Editing Models with Task Arithmetic

Gabriel Ilharco, Marco Túlio Ribeiro외 5명|arXiv (Cornell University)|2022. 12. 08.

Machine Learning and Data Classification인용 수 31

한 줄 요약

이 논문은 사전 학습된 모델을 편집하기 위한 가중치 공간 산술 방법인 태스크 벡터를 소개한다. 미세 조정된 가중치와 사전 학습 가중치의 차이를 계산함으로써 태스크의 부정, 덧셈, 그리고 태스크 간 유사성을 통해 추가 학습 없이 모델 동작을 제어할 수 있다.

ABSTRACT

Changing how pre-trained models behave -- e.g., improving their performance on a downstream task or mitigating biases learned during pre-training -- is a common practice when developing machine learning systems. In this work, we propose a new paradigm for steering the behavior of neural networks, centered around extit{task vectors}. A task vector specifies a direction in the weight space of a pre-trained model, such that movement in that direction improves performance on the task. We build task vectors by subtracting the weights of a pre-trained model from the weights of the same model after fine-tuning on a task. We show that these task vectors can be modified and combined together through arithmetic operations such as negation and addition, and the behavior of the resulting model is steered accordingly. Negating a task vector decreases performance on the target task, with little change in model behavior on control tasks. Moreover, adding task vectors together can improve performance on multiple tasks at once. Finally, when tasks are linked by an analogy relationship of the form ``A is to B as C is to D", combining task vectors from three of the tasks can improve performance on the fourth, even when no data from the fourth task is used for training. Overall, our experiments with several models, modalities and tasks show that task arithmetic is a simple, efficient and effective way of editing models.

연구 동기 및 목표

• 가중치 공간에서 태스크 방향으로 모델 동작을 이끌기 위한 경량의 사후 학습 메커니즘을 제공한다.
• 태스크 벡터를 부정하여 원치 않는 동작을 잊거나 최소한의 영향으로 감소시킬 수 있음을 보인다.
• 태스크 벡터의 덧셈이 다중 태스크 모델을 형성하고 단일 태스크 성능을 향상시킬 수 있음을 보인다.
• 데이터가 희소한 도메인이나 하위 집단 간 지식을 전달하기 위한 태스크 유추(아날로지) 탐구.

제안 방법

• 태스크 벡터를 태스크에 대해 미세 조정한 후의 모델 가중치와 동일 모델의 사전 학습 가중치 간의 원소별 차이로 정의한다 (τ_t = θ_ft^t − θ_pre).
• 태스크 벡터를 모델 가중치에 적용하여 θ_new = θ + λτ_new로, λ는 검증 세트를 통해 선택된 조정 가능한 스칼라이다.
• 태스크 벡터의 세 가지 산술 연산(부정 −τ, 덧셈 Στ_i, 그리고 아날로지 기반 결합 τ_C + (τ_B − τ_A))을 연구한다.
• 다양한 태스크와 데이터셋에 걸쳐 개방형 아키텍처(이미지 및 언어 모델)를 평가하여 편집 효과 및 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 태스크 벡터를 부정하여 타깃 태스크 성능을 감소시키면서 제어 태스크 성능은 보존할 수 있는가?
• RQ2 여러 태스크 벡터의 덧셈이 서로 다른 학습된 모델을 사용하는 것에 비해 경쟁력 있는 다중 태스크 모델을 산출하는가?
• RQ3 태스크 유추가 타깃 태스크에 거의 또는 전혀 레이블 데이터가 없더라도 성능 향상을 전달할 수 있는가?
• RQ4 학습률과 태스크 유사도가 태스크 벡터의 유용성에 어떤 영향을 미치는가?

주요 결과

• 태스크 벡터를 부정하면 타깃 태스크 성능이 크게 감소할 수 있으며(예: ViT-L/14에서 Forgetting을 위한 평균 타깃 정확도가 45.8포인트 하락), 제어 태스크에는 미세한 변화만 나타난다.
• GPT-2의 독성 생성 프롬프트에 대한 태스크 벡터를 부정하면 독성 생성이 4.8%에서 0.8%로 감소하고 WikiText-103의 퍼plexity는 사전 학습 모델에 근접하게 유지된다(0.5포인트 이내).
• 여러 태스크의 태스크 벡터를 추가하면 하나의 모델이 다중 태스크 모델에 근접하거나 더 나을 수 있으며(정규화 정확도 접근 방식이 두 태스크를 결합할 때 98.9%에 근접하거나 초과), 전체 다중 태스크 정확도는 벡터가 더 추가될수록 개선된다.
• 태스크 아날로지(A는 B처럼 C는 D)가 데이터가 거의 없거나 전혀 없는 D 태스크에서도 D의 성능을 향상시킬 수 있으며, 이는 감성 분석 도메인 일반화 및 하위 인구 설정에서 입증된다.
• NLP의 경우, 미세 조정된 T5 모델에 외부 태스크 벡터를 추가하면 GLUE 태스크(MRPC, RTE, CoLA, SST-2)에서 타깃 태스크 정확도가 제로샷 또는 기본 미세 조정 모델에 비해 향상될 수 있다.