[논문 리뷰] Fortuitous Forgetting in Connectionist Networks

Hattie Zhou, Ankit Vani외 2명|arXiv (Cornell University)|2022. 02. 01.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 신경망에서 선택적 망각을 통해 유용한 특징을 강화하고 바람직하지 않은 정보를 제거함으로써 일반화 능력을 향상시키는 '망각하고 다시 학습하는' 프레임워크를 소개한다. 저자들은 이미지 분류와 언어 유도에서 성공한 많은 반복적 학습 알고리즘들이 이 프레임워크의 사례임을 보이며, 목표 지향적 망각이 일반화 가능한 표현으로 모델을 이끌어 성능 향상에 기여함을 입증한다.

ABSTRACT

Forgetting is often seen as an unwanted characteristic in both human and machine learning. However, we propose that forgetting can in fact be favorable to learning. We introduce "forget-and-relearn" as a powerful paradigm for shaping the learning trajectories of artificial neural networks. In this process, the forgetting step selectively removes undesirable information from the model, and the relearning step reinforces features that are consistently useful under different conditions. The forget-and-relearn framework unifies many existing iterative training algorithms in the image classification and language emergence literature, and allows us to understand the success of these algorithms in terms of the disproportionate forgetting of undesirable information. We leverage this understanding to improve upon existing algorithms by designing more targeted forgetting operations. Insights from our analysis provide a coherent view on the dynamics of iterative training in neural networks and offer a clear path towards performance improvements.

연구 동기 및 목표

• 망각을 일반화를 향상시키는 데 유익한 메커니즘으로 재정의함으로써, 신경망에서의 망각을 실패로 보는 것이 아니라 유익한 과정으로 바라보는 것.
• 이미지 분류와 언어 유도 분야에서 다양한 반복적 학습 알고리즘을 동일한 '망각하고 다시 학습' 프레임워크 아래 통합하는 것.
• 이러한 알고리즘의 성공이 바람직하지 않은 정보에 대한 비례적 망각에서 기인한다는 것을 규명하는 것.
• 모델 성능을 향상시키기 위해 선택적 정보 제거를 통해 더 목표 지향적인 망각 연산을 설계하는 것.
• 반복적 재학습이 통제된 망각을 통해 어떻게 더 나은 일반화로 이어지는지에 대한 이론적 및 실험적 이해를 제공하는 것.

제안 방법

• 망각 연산을 정의한다: 현재 모델 성능 이하이지만 확률적일 뿐만 아니라 기대치 이상의 정확도를 유지하는 임의의 변환으로, 부분적인 정보 제거를 보장한다.
• 망각-다시학습 과정을 수학적으로 형식화한다: 망각(정확도 감소)과 동일한 데이터에서의 재학습(정확도 향상)을 번갈아 수행하는 단계로 구성한다.
• 망각이 무작위 노이즈가 아니라 특정한 비난이 아닌 정보를 제거하도록, 네트워크와 데이터셋 간의 상호정보량을 활용한다.
• 기존 알고리즘(예: 반복적 크기 기반 프루닝, 지식 진화, 자기 정규화)을 '망각하고 다시 학습'의 사례로 재해석한다.
• 일부 유용한 특징은 유지하면서 덜 유용한 특징만 선택적으로 제거하는, 예를 들어 부분 균형 망각(Partial Balanced Forgetting, PBF)과 같은 목표 지향적 망각 메커니즘을 설계한다.
• 학습 동역학과 학습된 표현을 통해 성능을 평가하며, 특히 조합적 구조가 핵심이 되는 언어 유도 과제에서 주목할 만한 결과를 도출한다.

실험 결과

연구 질문

• RQ1 신경망에서의 망각이 실패 모드가 아니라 학습에 유익한가?
• RQ2 이미지 분류와 언어 유도 분야에서 다양한 반복적 학습 알고리즘의 공통 메커니즘은 무엇인가?
• RQ3 자기 정규화나 프루닝과 같은 반복적 학습 방법이 일반화를 향상시키는 이유는 무엇인가?
• RQ4 유용한 특징을 유지하고 해로운 특징을 제거하기 위해 망각을 어떻게 더 목표 지향적으로 만들 수 있는가?
• RQ5 선택적 망각이 신경망 학습에서 일반화를 얼마나 향상시키는가?

주요 결과

• '망각하고 다시 학습' 프레임워크는 지식 진화, 반복적 크기 기반 프루닝, 자기 정규화 등 성공적인 여러 반복적 학습 알고리즘을 동일한 선택적 망각 메커니즘 아래 통합한다.
• 일반화를 향상시키는 데 성공한 알고리즘들은 바람직하지 않은 정보에 대해 비례적으로 더 많이 망각하며, 다양한 학습 조건에서 유용한 특징은 유지한다.
• 예를 들어 부분 균형 망각(Partial Balanced Forgetting, PBF)과 같은 목표 지향적 망각 연산은 언어 유도 과제에서 더 조합적이고 체계적인 의사소통 방식을 촉진함으로써 성능 향상을 크게 이룬다.
• 언어 유도 실험에서 PBF를 사용한 모델는 망각이 없는 모델에 비해 입력과 메시지 사이에 더 순열 유사한, 조합적인 맵핑을 개발했다.
• 망각 과정은 망각 단계에서 유도된 다양한 학습 조건 하에서도 항상 유용한 특징을 강화함으로써 일반화 능력을 향상시킨다.
• 이론적 분석 결과, 데이터셋과의 양의 상호정보량을 유지하는 망각 연산은 재학습을 가능하게 하고 모델 성능 향상에 효과적이라는 것이 입증되었다.