[논문 리뷰] DualHSIC: HSIC-Bottleneck and Alignment for Continual Learning

Zifeng Wang, Zheng Zhan외 5명|arXiv (Cornell University)|2023. 04. 30.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

DualHSIC는 재훈련 기반 모델의 성능을 햖थ기 위해 두 가지 HSIC 기반 구성 요소인 HSIC-Bottleneck for Rehearsal(HBR)과 HSIC Alignment(HA)를 도입한 새로운 지속적 학습 방법이다. HBR는 작업 간 간섭을 줄이고, HA는 작업에 관계없이 공통되는 지식 공유를 촉진한다. 이는 최신 재훈련 기반 방법을 최대 7.6% 향상시키며, 정규화 기반 보완 기반 모델보다 최대 6.5% 높은 성능을 기록한다. 특히 작은 버퍼 설정에서 뛰어난 성능을 보인다.

ABSTRACT

Rehearsal-based approaches are a mainstay of continual learning (CL). They mitigate the catastrophic forgetting problem by maintaining a small fixed-size buffer with a subset of data from past tasks. While most rehearsal-based approaches study how to effectively exploit the knowledge from the buffered past data, little attention is paid to the inter-task relationships with the critical task-specific and task-invariant knowledge. By appropriately leveraging inter-task relationships, we propose a novel CL method named DualHSIC to boost the performance of existing rehearsal-based methods in a simple yet effective way. DualHSIC consists of two complementary components that stem from the so-called Hilbert Schmidt independence criterion (HSIC): HSIC-Bottleneck for Rehearsal (HBR) lessens the inter-task interference and HSIC Alignment (HA) promotes task-invariant knowledge sharing. Extensive experiments show that DualHSIC can be seamlessly plugged into existing rehearsal-based methods for consistent performance improvements, and also outperforms recent state-of-the-art regularization-enhanced rehearsal methods. Source code will be released.

연구 동기 및 목표

• 재훈련 기반 방법의 표현 학습을 향상시켜 지속적 학습에서의 치명적 잊음 문제를 해결하기 위해.
• 버퍼링된 데이터에서 작업 전용 노이즈를 제거하여 지속적 학습 중의 작업 간 간섭을 완화하기 위해.
• 다양한 작업 간 공통되는 특징을 학습함으로써 지식 전이를 향상시키기 위해.
• 기존 재훈련 프레임워크와의 호환성을 고려해 아키텍처의 대대적인 변경 없이도 적용 가능한 일반적인 플러그 앤 플레이 솔루션을 제공하기 위해.
• 표현 분리 목적으로 지속적 학습에서 힐버트-슈미트 독립성 기준(HSIC)을 체계적으로 탐색하기 위해.

제안 방법

• DualHSIC는 재훈련을 위한 HSIC-Bottleneck(HBR)을 도입하여, HSIC를 사용해 버퍼링된 특징과 작업 전용 레이블 간의 통계적 의존도를 최소화함으로써 현재 작업 전용 지식으로 인한 간섭을 억제한다.
• 또한 HSIC Alignment(HA)를 적용하여 현재 작업과 과거 작업의 특징 간 통계적 의존도를 최대화함으로써 공통된, 작업에 관계없는 표현 학습을 촉진한다.
• HBR는 중간 네트워크 활성화에 다층 손실을 적용하여 작업 전용 간섭 억제를 강화한다.
• HA는 프로젝션 헤드를 사용한 단일 레이어 손실을 적용하여 작업 간 표현을 정렬함으로써 긍정적인 지식 전이를 촉진한다.
• 기존 재훈련 기반 프레임워크에 쉽게 통합되도록 설계되어 아키텍처 변경을 최소화한다.
• 손실 함수는 훈련 중에 엔드 투 엔드로 최적화되며, HBR와 HA가 함께 과거 및 현재 작업의 표현 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 HSIC 기반 정규화는 지속적 학습에서 작업 간 간섭을 효과적으로 줄일 수 있는가?
• RQ2 HSIC 기반 정렬은 순차적 작업 간 공통되는 지식 공유를 향상시킬 수 있는가?
• RQ3 DualHSIC는 기존 재훈련 기반 지속적 학습 방법에 통합되었을 때 성능은 어떠한가?
• RQ4 작은 버퍼 크기에서 DualHSIC는 성능 향상을 유지하는가? 특히 자원 효율성이 중요한 상황에서 어떻게 작용하는가?
• RQ5 HBR와 HA 구성 요소에서 다층 손실과 단일 레이어 손실의 기여도는 각각 어떠한가?

주요 결과

• DualHSIC는 다양한 벤치마크에서 최신 재훈련 기반 방법을 최대 7.6% 향상시키며, 뛰어난 일반화 성능을 입증한다.
• 더 강력한 정규화 기반 보완 기반 모델보다 최대 6.5% 높은 성능을 기록하며, 특히 작은 버퍼 크기에서 뛰어난 성능을 보인다.
• HBR는 t-SNE 시각화에서 클래스 겹침을 크게 줄여, 시간이 지나도 과거 작업 표현의 유지가 뛰어나다는 것을 보여준다.
• 제거 실험을 통해 HBR와 HA의 프로젝션 헤드 및 대칭 손실 항목이 최적 성능을 내기 위해 필수적임을 확인했다.
• 다층 HBR는 깊이 있는 감시를 통해 성능 향상을 이끌어내지만, 단일 레이어 HA만으로도 충분히 성능 향상을 이룰 수 있으며, 계산 오버헤드를 줄일 수 있다.
• 제한된 버퍼 용량에서도 DualHSIC는 뛰어난 성능을 유지하여 높은 자원 효율성을 입증한다.