[논문 리뷰] CODA-Prompt: COntinual Decomposed Attention-based Prompting for Rehearsal-Free Continual Learning

James Smith, Leonid Karlinsky외 7명|arXiv (Cornell University)|2022. 11. 23.

Domain Adaptation and Few-Shot Learning인용 수 13

한 줄 요약

CODA-Prompt는 입력 조건에 따라 주의 분포를 이용해 구성 요소를 동적으로 조합하는 종단간, 분해된 어텐션 기반 프롬프팅 방법을 도입하여, 복구 학습 없이도 모델의 적응성과 확장성을 향상시킨다. 이는 표준 벤치마크에서 기존 최고 성능(SOTA)을 4.5% 이상 뛰어넘고, 클래스 및 도메인 증분 이동이 동시에 발생하는 이중 이동 벤치마크에서 4.4%의 평균 정확도 향상을 달성한다.

ABSTRACT

Computer vision models suffer from a phenomenon known as catastrophic forgetting when learning novel concepts from continuously shifting training data. Typical solutions for this continual learning problem require extensive rehearsal of previously seen data, which increases memory costs and may violate data privacy. Recently, the emergence of large-scale pre-trained vision transformer models has enabled prompting approaches as an alternative to data-rehearsal. These approaches rely on a key-query mechanism to generate prompts and have been found to be highly resistant to catastrophic forgetting in the well-established rehearsal-free continual learning setting. However, the key mechanism of these methods is not trained end-to-end with the task sequence. Our experiments show that this leads to a reduction in their plasticity, hence sacrificing new task accuracy, and inability to benefit from expanded parameter capacity. We instead propose to learn a set of prompt components which are assembled with input-conditioned weights to produce input-conditioned prompts, resulting in a novel attention-based end-to-end key-query scheme. Our experiments show that we outperform the current SOTA method DualPrompt on established benchmarks by as much as 4.5% in average final accuracy. We also outperform the state of art by as much as 4.4% accuracy on a continual learning benchmark which contains both class-incremental and domain-incremental task shifts, corresponding to many practical settings. Our code is available at https://github.com/GT-RIPL/CODA-Prompt

연구 동기 및 목표

• 데이터 복구 없이 지속적 학습에서 치명적인 잊음 문제를 해결하며, 특히 개인정보 보호가 중요한 환경이나 대규모 배포 시나리오에서의 적용을 고려한다.
• 기존의 프롬프팅 기반 방법에서 관찰되는 적응성-탄력성 간 상충 문제를 해결하며, 종단간 최적화가 부족하고 프롬프팅 용량을 효과적으로 확장할 수 없는 점을 보완한다.
• 프롬프팅 풀 크기의 증가가 아닌 프롬프팅 구성 요소의 수를 늘림으로써 확장 가능하고 파rameter 효율적인 지속적 학습을 가능하게 한다.
• 세분화된(클래스 증분) 및 공변량(도메인 증분) 이동을 포함한 실제 세계의 분포 이동에 대한 일반화 능력을 향상시킨다.
• 복구 학습이 없는 지속적 학습에서 최고 성능을 달성하면서도 종단간 미분 가능성을 유지하고, 프롬프팅 선택 과정에서 기울기 소실 문제를 방지한다.

제안 방법

• 기존 방법에서 고정된 프롬프팅 풀을 대체로, 입력 조건에 따라 어텐션 기반 가중치로 동적으로 조합되는 학습 가능한 프롬프팅 구성 요소 집합을 도입한다.
• 기존의 키-쿼리 방법이 키 최적화를 별도로 필요로 하는 데 반해, 전체 프롬프팅 파이프라인을 종단간 역전파가 가능한 새로운 어텐션 기반 구성 요소 가중치 부여 메커니즘을 도입한다.
• 입력 임bedding에 적용된 학습 가능한 쿼리 메커니즘을 통해 계산된 가중치를 이용해 프롬프팅을 구성 요소의 가중합으로 분해함으로써, 동적이고 맥락 인식형 프롬프팅 생성을 가능하게 한다.
• 지속적 학습 중 안정성 향상과 잊음 감소를 위해 프롬프팅 구성 요소에 직교성 정규화를 적용한다.
• 다음 작업 학습 시 이전에 학습된 프롬프팅 구성 요소를 동결하여 지식 유지를 보장하면서도, 새로운 작업을 위한 새로운 구성 요소는 학습 가능하게 한다.
• 프롬프팅 구성 요소와 어텐션 가중치를 포함한 전체 모델을 표준 역전파를 사용해 종단간 최적화함으로써, 완전한 기울기 흐름을 확보하고 적응성을 향상시킨다.

실험 결과

연구 질문

• RQ1 비차별화적 키-쿼리 선택 방식과 비교해 종단간 학습이 가능한 분해된 프롬프팅 메커니즘이 복구 학습이 없는 지속적 학습에서 적응성과 성능 향상에 기여하는가?
• RQ2 고정된 프롬프팅 풀 크기의 증가가 아닌 프롬프팅 구성 요소의 수를 늘림으로써 프롬프팅 용량을 확장하면, 더 나은 확장성과 성능 향상이 달성되는가?
• RQ3 클래스 증분 및 도메인 증분 분포 이동이 동시에 발생하는 이중 이동 시나리오에서 제안된 방법의 성능은 어떠한가?
• RQ4 데이터 복구의 부재와 종단간 최적화의 적용이 잊음과 최종 정확도에 어떤 영향을 미치는가?
• RQ5 동일한 파라미터 수에서 높은 성능를 유지하면서도, 용량 증가에 따라 확장 가능한가?

주요 결과

• 10개 작업의 ImageNet-R 벤치마크(도메인 이동 포함)에서 CODA-Prompt는 71.35%의 새로운 최고 평균 정확도를 달성하여 DualPrompt를 4.4% 뛰어넘었다.
• 표준 클래스 증분 벤치마크에서 CODA-Prompt는 SOTA 방법인 DualPrompt보다 최대 4.5% 높은 평균 정확도를 기록했다.
• 절단 실험 결과, 어텐션 키 제거 시 평균 정확도가 0.93% 감소했고, 동결 또는 직교성 정규화 제거 시 각각 0.85%와 4.79% 감소하여 이들의 핵심적 역할을 확인했다.
• 프롬프팅 길이가 고정된 상태에서도 CODA-Prompt는 높은 성능를 유지하며, 성능 향상 요인이 프롬프팅 길이가 아닌 구성 요소 수 증가에 기인함을 입증했다. 이는 프롬프팅 길이가 빠르게 포화 상태에 이르기 때문이다.
• 구성 요소 수 증가에 따라 효과적으로 확장되며, DualPrompt나 L2P와 달리 성능가운데 도달하지 못하거나 성능 저하를 보이지 않고, 상한선 성능에 더 가까이 접근한다.
• 5개 작업의 ImageNet-R 설정에서, 10개의 구성 요소를 가진 CODA-P는 DualPrompt의 프롬프팅 풀 크기와 동일한 수준이지만 이미 성능를 뛰어넘었고, 구성 요소 수를 추가로 늘일수록 뚜렷한 성능 향상이 나타나 확장성의 타당성을 확인했다.