[논문 리뷰] A Comprehensive Survey of Forgetting in Deep Learning Beyond Continual Learning

Zhenyi Wang, Enneng Yang외 2명|arXiv (Cornell University)|2023. 07. 16.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

이 종합적 서베이는 지속적 학습 외적 맥락에서도 딥러닝에서의 망각을 이중적인 현상—해로운 동시에 유익한—로 재정의한다. 페더레이티드 러닝, 생성 모델, 플랫폼 모델 등 다양한 분야에서 망각을 체계적으로 분류하며, 과적합을 완화하고 편향을 줄이며 프라이버시를 향상시키기 위해 의도적인 망각을 촉진한다. 이는 이론적이고 다학문적인 통찰을 기반으로 향후 연구를 이끈다.

ABSTRACT

Forgetting refers to the loss or deterioration of previously acquired knowledge. While existing surveys on forgetting have primarily focused on continual learning, forgetting is a prevalent phenomenon observed in various other research domains within deep learning. Forgetting manifests in research fields such as generative models due to generator shifts, and federated learning due to heterogeneous data distributions across clients. Addressing forgetting encompasses several challenges, including balancing the retention of old task knowledge with fast learning of new task, managing task interference with conflicting goals, and preventing privacy leakage, etc. Moreover, most existing surveys on continual learning implicitly assume that forgetting is always harmful. In contrast, our survey argues that forgetting is a double-edged sword and can be beneficial and desirable in certain cases, such as privacy-preserving scenarios. By exploring forgetting in a broader context, we present a more nuanced understanding of this phenomenon and highlight its potential advantages. Through this comprehensive survey, we aspire to uncover potential solutions by drawing upon ideas and approaches from various fields that have dealt with forgetting. By examining forgetting beyond its conventional boundaries, we hope to encourage the development of novel strategies for mitigating, harnessing, or even embracing forgetting in real applications. A comprehensive list of papers about forgetting in various research fields is available at \url{https://github.com/EnnengYang/Awesome-Forgetting-in-Deep-Learning}.

연구 동기 및 목표

• 지속적 학습 외의 맥락에서 딥러닝에서의 망각을 종합적으로 이해하고, 망각이 항상 해로운 것으로 간주되는 가정에 도전한다.
• 응용 맥락에 따라 망각을 해로운 것과 유익한 것으로 분류하며, 성능 향상이나 프라이버시 향상에 기여하는 망각의 사례를 강조한다.
• 페더레이티드 러닝, 생성 모델, 플랫폼 모델를 포함한 다양한 머신러닝 분야에서 망각 메커니즘을 식별하고 분석한다.
• 과적합 완화, 편향 감소, 프라이버시 보호를 위한 머신 언러닝을 가능하게 하기 위해 의도적인 망각을 전략적 도구로 활용할 것을 주장한다.
• 다양한 분야에서의 통찰을 통합함으로써 망각 인지 모델 설계를 발전시키기 위해 다학문적 연구와 이론적 분석을 자극한다.

제안 방법

• 망각을 이중 분류하는 것을 제안한다: 지식 유지가 필요한 경우 해로운 망각, 성능 향상이나 프라이버시 향상에 기여하는 경우 유익한 망각.
• 지속적 학습, 페더레이티드 러닝, 생성 모델, 강화 학습를 포함한 10개의 머신러닝 분야에서 망각을 분석하며, 데이터 분포 이동과 모델 평균화와 같은 고유한 원인을 식별한다.
• 예를 들어 사전 훈련에서의 분포 이동, GAN에서의 생성기 이동, 페더레이티드 러닝에서의 비i.i.d. 데이터 등 다양한 원인에서 기인하는 망각의 발생 원리를 프레임워크로 제시한다.
• 정규화, 리허설, 모델 편집과 같은 기존 기법들을 검토하며, 이들이 다양한 분야에 어떻게 적용 가능한지 강조한다.
• 플랫폼 모델이 이식 가능한 망각 솔루션을 가능하게 하고, 다양한 작업 간 망각 메커니즘을 통합하는 데 잠재력을 지닌다고 논의한다.
• 메타학습과 테스트 시점 적응 분야의 유사성과 기법을 활용해 망각을 새로운 맥락에서 해결하기 위해 다학문적 연구를 촉진한다.

실험 결과

연구 질문

• RQ1 기계학습 시스템에서 망각이 순수하게 해로운 것이 아니라, 어떤 방식으로도 이로운 경우가 존재하는가?
• RQ2 페더레이티드 러닝, 생성 모델링, 강화 학습와 같은 다양한 학습 철학에서 망각이 어떻게 다르게 나타나는가?
• RQ3 플랫폼 모델에서 망각의 근본 원인은 무엇이며, 지속적 학습에서의 원인과 어떻게 다를까?
• RQ4 의도적인 망각을 어떻게 활용해 모델 일반화를 향상시키고 편향을 줄이며 데이터 프라이버시를 보호할 수 있는가?
• RQ5 다양한 학습 환경에서 망각을 엄밀히 이해하고 제어하기 위해 필요한 이론적 기반은 무엇인가?

주요 결과

• 망각은 반드시 해로운 것은 아니다. 프라이버시에 민감한 응용에서는 훈련 데이터의 일부를 선택적으로 망각함으로써 회원 식별 공격을 방지하고 사용자 프라이버시를 보호할 수 있다.
• 유익한 망각은 불필요하거나 노이즈가 많은 훈련 예제를 제거함으로써 과적합을 완화하고, 모델 일반화와 학습 효율성을 향상시킨다.
• 페더레이티드 러닝에서는 데이터 이질성과 비i.i.i.d. 데이터 분포가 망각을 유도하며, 특히 클라이언트 수준의 데이터 이동과 모델 평균화로 인해 발생한다.
• 생성 모델에서는 훈련 중 생성기 이동이 기존에 학습된 데이터 분포를 망각하게 하여 모드 커버리지와 샘플 품질에 영향을 준다.
• 플랫폼 모델는 피나이팅 중에 망각을 보이며, 사전 훈련에서의 지식이 내림표 작업에서의 분포 이동으로 인해 약화될 수 있다.
• 머신 언러닝에서의 의도적 망각은 특정 훈련 데이터의 흔적을 효과적으로 제거함으로써 프라이버시 누출을 줄이고 나머지 데이터에 대한 모델 유틸리티를 유지하는 데 기여한다.