[논문 리뷰] SoftAdapt: Techniques for Adaptive Loss Weighting of Neural Networks with Multi-Part Loss Functions

A. Ali Heydari, Craig A. Thompson외 1명|arXiv (Cornell University)|2019. 12. 27.

Advanced Neural Network Applications참고 문헌 32인용 수 65

한 줄 요약

SoftAdapt는 각 손실 부분의 최근 변화율에 의존하는 소프트맥스에서 영감을 받은 방식으로 다부분 손실 구성 요소의 가중화를 적응적으로 도입하여 수동 조정 없이 수렴을 개선한다.

ABSTRACT

Adaptive loss function formulation is an active area of research and has gained a great deal of popularity in recent years, following the success of deep learning. However, existing frameworks of adaptive loss functions often suffer from slow convergence and poor choice of weights for the loss components. Traditionally, the elements of a multi-part loss function are weighted equally or their weights are determined through heuristic approaches that yield near-optimal (or sub-optimal) results. To address this problem, we propose a family of methods, called SoftAdapt, that dynamically change function weights for multi-part loss functions based on live performance statistics of the component losses. SoftAdapt is mathematically intuitive, computationally efficient and straightforward to implement. In this paper, we present the mathematical formulation and pseudocode for SoftAdapt, along with results from applying our methods to image reconstruction (Sparse Autoencoders) and synthetic data generation (Introspective Variational Autoencoders).

연구 동기 및 목표

• 신경망에서 여러 손실 구성 요소의 균형 문제를 동기 부여하고 해결한다.
• 학습 중 손실 항목의 가중치를 적응시키기 위한 일반적이고 빠르며 옵티마이저와 호환되는 방법을 제안한다.
• 적응적 가중치가 고정 가중치나 휴리스틱으로 선택된 가중치보다 작업 전반에서 더 나은 성능을 낼 수 있음을 보인다.
• 오토인코더, VAE, 및 그래디언트 디센트 최적화 벤치마크에 적용 가능성을 입증한다.

제안 방법

• 다부분 손실을 F(x)=sum_k f_k(x)로 형식화하고 가중된 그래디언트 방향 h^i = sum_k alpha_k^i grad f_k(x^i)로 정의한다.
• 각 f_k의 짧은 기간 변화율로서 각 구성요소의 성능 변화율 s_k^i를 계산한다.
• Original 버전의 SoftAdapt 변형을 사용하여 s^i에 대해 softmax를 적용해 가중치 alpha^i를 계산한다.
• Loss Weighted 변형으로 강화: 현재 손실 f_k^i로 alpha_k^i를 스케일링한다.
• 선택적으로 속도 벡터를 정규화하여 구성요소 간의 차이를 더욱 뚜렷하게 한다.
• SoftAdapt와 그 변형의 의사코드를 제공하여 어떤 그래디언트-디센트 옵티마이저와도 통합될 수 있도록 한다.

실험 결과

연구 질문

• RQ1 손실 구성 요소의 적응적 가중치화가 고정된 동등 가중치보다 학습 효율성과 성과를 향상시킬 수 있는가?
• RQ2 다양한 SoftAdapt 변형(Original, Loss Weighted, Normalized)이 작업 및 손실 규모에 따라 수렴에 어떤 영향을 미치는가?
• RQ3 SoftAdapt가 일반적인 옵티마이저와 아키텍처와 추가 오버헤드 없이 호환되는가?
• RQ4 오토인코더와 VAE에서 적응적 가중치가 고정 휴리스틱에 비해 성능에 어떤 영향을 미치는가?

주요 결과

• SoftAdapt는 Rosenbrock 및 Beale’s 함수와 같은 벤치마크 최적화 문제에서 고정 가중치보다 더 빠른 수렴을 보여줄 수 있다.
• IntroVAE 실험에서 SoftAdapt의 적응 가중치는 고정 가중치에 비해 SSIM 및 PSNR 지표를 향상시키면서 비슷한 학습 시간을 유지한다.
• 희소 자동인코더 실험에서 SoftAdapt가 lambda를 동적으로 조정하면 그리드 탐색으로 찾은 고정 최적 lambda에 비해 재구성 품질과 분류 성능이 향상된다.
• 작업 전반에 걸쳐 적응적 가중치 접근법은 사전에 필요한 하이퍼파라미터 조정 및 그리드 탐색의 필요성을 줄인다.
• 이 방법은 Adam 및 다른 그래디언트 기반 옵티마이저와 호환되며 애드온으로 구현하기 쉽다.