[논문 리뷰] Bregman Proximal Framework for Deep Linear Neural Networks

Mahesh Chandra Mukkamala, Felix Westerkamp외 3명|arXiv (Cornell University)|2019. 10. 08.

Sparse and Compressive Sensing Techniques참고 문헌 33인용 수 5

한 줄 요약

이 논문은 제곱 손실을 갖는 깊이 있는 선형 신경망을 훈련시키기 위해 특별히 설계된 새로운 Bregman 거리 체계를 제안하며, 이는 Bregman 프락시멀 그래디언트(BPG) 및 CoCaIn BPG 알고리즘의 전역 수렴을 보장하면서 선형 탐색이나 점진적인 스텝 크기 감소 없이 가능하게 한다. 이 방법은 폐쇄형 해를 제공하고 효율적인 관성 파라미터를 도입하여, 특히 정규화가 적용된 경우 유럽계 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

A typical assumption for the analysis of first order optimization methods is the Lipschitz continuity of the gradient of the objective function. However, for many practical applications this assumption is violated, including loss functions in deep learning. To overcome this issue, certain extensions based on generalized proximity measures known as Bregman distances were introduced. This initiated the development of the Bregman proximal gradient (BPG) algorithm and an inertial variant (momentum based) CoCaIn BPG, which however rely on problem dependent Bregman distances. In this paper, we develop Bregman distances for using BPG methods to train Deep Linear Neural Networks. The main implications of our results are strong convergence guarantees for these algorithms. We also propose several strategies for their efficient implementation, for example, closed form updates and a closed form expression for the inertial parameter of CoCaIn BPG. Moreover, the BPG method requires neither diminishing step sizes nor line search, unlike its corresponding Euclidean version. We numerically illustrate the competitiveness of the proposed methods compared to existing state of the art schemes.

연구 동기 및 목표

• 딥 러닝 목표 함수에서 리프시츠 연속적 기울기가 부족하여 표준 프락시멀 그래디언트 방법이 적용되지 않는 문제를 해결하기 위해.
• 제곱 손실을 갖는 깊이 있는 선형 신경망에 적합한 문제 특화 Bregman 거리 체계를 개발하기 위해.
• 비미분 가능하고 비볼록인 딥 러닝 환경에서 Bregman 프락시멀 알고리즘의 전역 수렴 보장을 확보하기 위해.
• 폐쇄형 해를 통한 효율적 구현과 새로운 관성 파라미터 전략을 통해 효율적인 구현을 제공하기 위해.
• BPG 기반 방법이 깊이 있는 선형 네트워크 훈련에서 최신 기법들과 경쟁 가능한 성능을 보여주도록 하기 위해.

제안 방법

• 제곱 손실을 갖는 깊이 있는 선형 신경망에 특화된 새로운 Bregman 거리 클래스를 제안하며, 이는 목표 함수가 L-smad(Lipschitz-smooth adaptable)임을 보장한다.
• 제안된 Bregman 거리를 활용하여 깊이 있는 선형 네트워크 문제에 Bregman 프락시멀 그래디언트(BPG) 및 그 관성형 변형인 CoCaIn BPG를 적용한다.
• Bregman 프락시멀 업데이트에 대한 폐쇄형 분석 표현을 유도하여, 선형 탐색 없이도 효율적인 구현을 가능하게 한다.
• CoCaIn BPG의 관성 파라미터에 대한 폐쇄형 표현을 도입하여, 대규모 문제에 대한 효율성을 향상시킨다.
• BPG에서 배경 탐색 선형 탐색의 계산 비용을 피하기 위해 일정한 스텝 크기 규칙을 적용한다.
• L1 및 L2 정규화를 처리할 수 있도록 프레임워크를 확장하며, 다양한 설정에서의 강건성을 입증한다.

실험 결과

연구 질문

• RQ1 깊이 있는 선형 신경망에 대해 BPG 방법의 전역 수렴을 보장할 수 있는 문제 특화 Bregman 거리를 구성할 수 있는가?
• RQ2 BPG 기반 알고리즘이 깊이 있는 선형 네트워크 훈련에서 유클리드 프락시멀 방법보다 뛰어난 성능을 발휘할 수 있는가?
• RQ3 이 설정에서 CoCaIn BPG에 대해 폐쇄형 업데이트와 분석적 관성 파라미터를 유도할 수 있는가?
• RQ4 BPG 방법이 선형 탐색이나 점진적 스텝 크기 감소 없이도 강력한 수렴 보장을 유지하는가?
• RQ5 iPiano-WB 및 PALM과 같은 최신 기법들과 비교해 볼 때, BPG 기반 방법의 성능은 다양한 정규화 설정에서 어떻게 나타나는가?

주요 결과

• 제안된 Bregman 거리를 사용한 CoCaIn BPG는 L1 정규화 조건에서 iPiano-WB 및 FBS 기반 방법과 비교해 경쟁력 있거나 더 빠른 수렴 속도를 기록한다.
• L2 정규화 설정에서는 BPG, BPG-WB 및 CoCaIn BPG CFI가 FBS 기반 또는 교대 알고리즘보다 더 나쁜 해에 수렴하는 경우가 더 자주 발생한다.
• 정규화가 없는 문제에서는 배경 탐색이 없는 점을 고려할 때 PALM 및 iPALM이 BPG 기반 방법보다 뛰어나지만, BPG 방법 역시 경쟁 가능한 성능을 유지한다.
• CoCaIn BPG CFI에 도입된 폐쇄형 해를 가진 관성 파라미터는 특히 L1 정규화 설정에서 안정성과 성능 향상을 개선한다.
• L1 정규화 실험에서 CoCaIn BPG CFI는 표준 CoCaIn BPG보다 뛰어난 안정성과 수렴 성능을 보이며, 우수한 성능을 발휘한다.
• 일정한 스텝 크기를 사용하는 BPG 방법은 선형 탐색이나 점진적 감소 없이도 정류점으로의 강력한 전역 수렴을 달성한다.