[논문 리뷰] IF2Net: Innately Forgetting-Free Networks for Continual Learning

D. Li, Tianqi Wang외 4명|arXiv (Cornell University)|2023. 06. 18.

Domain Adaptation and Few-Shot LearningComputer Science인용 수 3

한 줄 요약

IF2Net는 임의화 기반 표현 보정과 직교화 기반 출력 적응을 통해 작업별 가중치를 동결함으로써 천연적인 잊음 없음 학습을 달성하는 새로운 지속적 학습 프레임워크를 제안한다. 이 방법은 단일 네트워크가 메모리 및 계산 비용을 최소화하면서도 기억을 잃지 않고 무제한의 작업을 학습할 수 있도록 하며, 기존 방법들보다 안정성과 일반화 성능에서 뛰어나다.

ABSTRACT

Continual learning can incrementally absorb new concepts without interfering with previously learned knowledge. Motivated by the characteristics of neural networks, in which information is stored in weights on connections, we investigated how to design an Innately Forgetting-Free Network (IF2Net) for continual learning context. This study proposed a straightforward yet effective learning paradigm by ingeniously keeping the weights relative to each seen task untouched before and after learning a new task. We first presented the novel representation-level learning on task sequences with random weights. This technique refers to tweaking the drifted representations caused by randomization back to their separate task-optimal working states, but the involved weights are frozen and reused (opposite to well-known layer-wise updates of weights). Then, sequential decision-making without forgetting can be achieved by projecting the output weight updates into the parsimonious orthogonal space, making the adaptations not disturb old knowledge while maintaining model plasticity. IF2Net allows a single network to inherently learn unlimited mapping rules without telling task identities at test time by integrating the respective strengths of randomization and orthogonalization. We validated the effectiveness of our approach in the extensive theoretical analysis and empirical study.

연구 동기 및 목표

• 재생이나 정규화와 같은 외부 메커니즘 없이도 기존에 학습한 지식을 본질적으로 유지할 수 있도록 설계된 네트워크를 통해 지속적 학습에서 치명적인 잊음 문제를 해결하는 것.
• 가중치 갱신, 예시 버퍼, 동적 아키텍처 확장에 의존하는 기존 방법의 한계를 극복하는 것.
• 모델의 유연성은 유지하면서도 무제한의 작업 시퀀스 동안 지식 유지를 보장하는 단순하고 확장 가능하며 메모리 효율적인 프레임워크를 개발하는 것.
• 출력층 가중치만 갱신하고 은닉층 가중치는 동결하는 학습 철학이 이론적·실험적으로 타당한지 검증하는 것.

제안 방법

• 임의의 가중치를 사용한 표현 수준의 학습을 도입하여, 임의화로 인해 발생하는 표현 이탈을 보정함으로써 원래 가중치를 갱신하지 않고도 작업 최적 상태로 복원한다.
• 출력 가중치 갱신을 위해 효율적인 직교 공간 투영을 활용하여 새로운 적응이 이전에 학습한 지식에 간섭하지 않도록 보장한다.
• 초기 작업 학습 이후 모든 은닉층 가중치를 동결함으로써 파라미터 오버라이트를 방지하여 치명적인 잊음을 방지한다.
• 일반화와 안정성을 향상시키기 위해 표현 보정 단계에서 무작위 초기화 대신 분석적 초기화를 적용한다.
• 결정 능력의 유연성을 유지하면서도 오랜 지식을 보존하기 위해 최종 출력층에만 직교화를 적용한다.
• 동결된 층을 거쳐 역전파를 수행하지 않아 계산 비용을 감소시키고 순차적 학습을 효율적으로 가능하게 한다.

실험 결과

연구 질문

• RQ1 지속적 학습 전반에 걸쳐 작업별 가중치를 동결함으로써 신경망이 본질적으로 잊음을 방지할 수 있는가?
• RQ2 임의화로 인한 표현 이탈은 원래 가중치를 갱신하지 않고 어떻게 보정할 수 있는가?
• RQ3 일부 층에만 직교화를 적용할 경우 지속적 학습에서 일반화 및 잊음에 어떤 영향을 미치는가?
• RQ4 명시적 메모리나 아키텍처 확장을 사용하지 않고도 단일 네트워크가 무제한의 작업을 학습할 수 있는가?
• RQ5 임의화와 직교화의 조합은 기존 지속적 학습 방법과 비교해 안정성과 일반화 측면에서 어떻게 성능을 내는가?

주요 결과

• IF2Net는 하나의 직교화된 출력층만을 사용하여 FashionMNIST-10/5에서 95.26% ± 0.0088의 정확도를 달성하였으며, 다른 구성 및 기준 방법들을 능가하였다.
• 역전이(Backward Transfer, BWT)는 -0.0071 ± 0.0060으로 감소하고 전방 전이(Forward Transfer, FWT)는 -0.0289 ± 0.0173으로 낮아져 부정적 간섭이 최소화되고 높은 안정성이 입증되었다.
• Rademacher 복잡도를 통한 일반화 경계 오차 측정에서 분석적 초기화를 사용한 경우(e)가 가장 느리게 증가하여 뛰어난 일반화 능력을 보였다.
• GPU 메모리 사용량은 하나의 직교화된 층만을 사용할 경우 829 MB로 감소하여 더 많은 직교화 층을 사용한 구성들에 비해 높은 효율성을 보였다.
• 무작위 초기화(Case d)는 분석적 초기화(Case e)보다 정확도가 낮았으며, 90.90% ± 0.0201 대비 95.26% ± 0.0088로 표현 보정 단계에서 분석적 초기화의 유용성을 입증하였다.
• 이론적 분석을 통해 표현 근사의 수렴성과 결정 부문에서의 잊음 없음 학습이 확인되어 메서드의 강건성을 검증하였다.