[논문 리뷰] Tilting the playing field: Dynamical loss functions for machine learning

Miguel Ruíz-García, Ge Zhang외 2명|arXiv (Cornell University)|2021. 02. 07.

Neural Networks and Applications참고 문헌 1인용 수 6

한 줄 요약

이 논문은 학습 중에 다양한 클래스를 순환적으로 강조하는 동적 손실 함수를 제안하여, 과소파ram터화된 및 과다파라미터화된 신경망에서 학습을 향상시킨다. 손실 함수의 변화에 따라 손실 표면이 변형되어 분기 연쇄와 골짜기의 넓어짐/좁아짐을 유도하며, 이는 낮은 최소값에서 벗어나 더 평탄하고 일반화 능력이 뛰어난 해로 수렴하는 데 기여한다. 이는 기존의 교차 엔트로피 손실이 실패하는 경우에도 성립한다.

ABSTRACT

We show that learning can be improved by using loss functions that evolve cyclically during training to emphasize one class at a time. In underparameterized networks, such dynamical loss functions can lead to successful training for networks that fail to find a deep minima of the standard cross-entropy loss. In overparameterized networks, dynamical loss functions can lead to better generalization. Improvement arises from the interplay of the changing loss landscape with the dynamics of the system as it evolves to minimize the loss. In particular, as the loss function oscillates, instabilities develop in the form of bifurcation cascades, which we study using the Hessian and Neural Tangent Kernel. Valleys in the landscape widen and deepen, and then narrow and rise as the loss landscape changes during a cycle. As the landscape narrows, the learning rate becomes too large and the network becomes unstable and bounces around the valley. This process ultimately pushes the system into deeper and wider regions of the loss landscape and is characterized by decreasing eigenvalues of the Hessian. This results in better regularized models with improved generalization performance.

연구 동기 및 목표

• 학습 중에 정적 손실 함수를 초월해 손실 함수를 동적으로 변화시킬 수 있는지 여부를 조사하는 것.
• 순환적 손실 함수가 과소파라미터화 및 과다파라미터화된 네트워크에서 일반화 능력을 향상시키는 메커니즘을 이해하는 것.
• 손실 표면의 곡률, 헤시안 고유값, 신경 탄성 커널이 향상된 학습 역학을 어떻게 촉진하는지 탐색하는 것.
• 클래스 가중치 순환을 통한 작업 전환 방식이 치명적인 잊힘을 피하면서 성능 향상을 이끌 수 있는지 확인하는 것.
• 손실 표면의 진화와 최적화 역학 간의 상호작용, 특히 골짜기 좁아짐과 반사 행동 동안의 상호작용을 분석하는 것.

제안 방법

• 학습 에포크 동안 클래스 간에 순차적으로 강조가 이동하는 시간에 따라 변하는 순환 가중치 방식을 손실 함수에 도입한다.
• 사인파 조절을 사용하여 시간에 따라 클래스 가중치를 변화시켜 주기적으로 변화하는 손실 표면을 만든다.
• 헤시안 행렬과 신경 탄성 커널을 사용하여 손실 표면의 곡률 변화와 분기 연쇄를 분석한다.
• 학습 사이클 중에 불안정성과 골짜기 전환을 식별하기 위해 가장 큰 헤시안 고유값의 변화를 추적한다.
• 합성 데이터(스피ral 데이터셋)와 실제 벤치마크(CIFAR-10, Myrtle 네트워크)를 사용하여 성능 향상 여부를 검증한다.
• 다양한 네트워크 파라미터화 영역에서 정적 교차 엔트로피 손실과 동적 손실 함수 간의 학습 및 테스트 정확도를 비교한다.

실험 결과

연구 질문

• RQ1 정적 교차 엔트로피 손실에서 수렴하지 못하는 과소파라미터화된 네트워크에서 동적으로 변화하는 손실 함수가 학습 정확도를 향상시킬 수 있는가?
• RQ2 클래스 가중치의 순환적 변화가 손실 표면의 기하학적 구조와 최적화 역학에 어떤 영향을 미치는가?
• RQ3 분기 연쇄와 헤시안 고유값의 진화가 넓고 평탄한 최소값에 도달하는 데 기여하는 역할은 무엇인가?
• RQ4 순환적 클래스 강조가 정적 손실에서 완벽한 학습 정확도를 달성하는 과다파라미터화된 네트워크에서도 일반화 능력을 향상시키는가?
• RQ5 동적 손실 함수가 성능 향상과 함께 치명적인 잊힘을 어느 정도 피할 수 있는가?

주요 결과

• 과소파라미터화된 네트워크에서 동적 손실 함수는 동일한 하이퍼파rameter를 사용해도 기존의 교차 엔트로피 손실이 실패하는 상황에서도 성공적인 학습을 가능하게 한다.
• 과다파라미터화된 네트워크에서는 정적 손실에서 완벽한 학습 정확도를 달성하더라도 동적 손실 함수가 테스트 정확도를 향상시켜 더 나은 일반화를 보인다.
• 학습 과정에서 가장 큰 헤시안 고유값이 점차 감소하며, 더 평탄하고 정규화된 최소값으로의 전이를 시사한다.
• 초기 사이클 동안 손실 표면의 골짜기는 넓어지고 깊어지며, 이후 좁아지고 올라가면서 네트워크가 반사 행동을 하며 浅은 최소값에서 벗어나게 된다.
• 클래스 가중치의 최적 진폭(A ≈ 30)에서 성능이 최고로 나타나며, 이보다 큰 진폭은 치명적인 잊힘으로 인해 성능 저하를 초래한다.
• 이 방법은 안정성 회피를 넘어서 빠른 손실 표면 변화에서 유래하는 불안정성을 활용하여 더 나은 일반화를 달성한다. 이는 전통적인 훈련 안정성에 대한 직관과 정면으로 배치된다.