[논문 리뷰] Cogradient Descent for Bilinear Optimization

Li’an Zhuo, Baochang Zhang외 6명|arXiv (Cornell University)|2020. 06. 16.

Sparse and Compressive Sensing Techniques참고 문헌 29인용 수 5

한 줄 요약

이 논문은 이차형 모델을 위한 새로운 최적화 알고리즘인 Cogradient Descent (CoGD)를 제안한다. CoGD는 희소 코딩 벡터와 변환 행렬과 같은 결합된 변수들 간의 기울기 갱신을 투영 기반 조율 메커니즘을 사용해 동기화한다. 비동기적 수렴으로 인한 기울기 소실 문제를 해결함으로써, 이미지 복원, 이미지 보간, 신경망 프루닝에서 최신 기술 수준의 성능을 달성하며, 최대 0.35× FLOPs 감소와 ImageNet에서 0.62%의 정확도 하락을 기록한다.

ABSTRACT

Conventional learning methods simplify the bilinear model by regarding two intrinsically coupled factors independently, which degrades the optimization procedure. One reason lies in the insufficient training due to the asynchronous gradient descent, which results in vanishing gradients for the coupled variables. In this paper, we introduce a Cogradient Descent algorithm (CoGD) to address the bilinear problem, based on a theoretical framework to coordinate the gradient of hidden variables via a projection function. We solve one variable by considering its coupling relationship with the other, leading to a synchronous gradient descent to facilitate the optimization procedure. Our algorithm is applied to solve problems with one variable under the sparsity constraint, which is widely used in the learning paradigm. We validate our CoGD considering an extensive set of applications including image reconstruction, inpainting, and network pruning. Experiments show that it improves the state-of-the-art by a significant margin.

연구 동기 및 목표

• 결합된 변수를 최적화할 때 비동기적 기울기 하강으로 인해 발생하는 최적화의 비최적성 및 기울기 소실 문제를 해결한다.
• 투영 함수를 사용해 은닉 변수 간의 기울기 조율을 위한 이론적 프레임워크를 개발하여 동기 최적화를 보장한다.
• 특히 컨volutional sparse coding (CSC)와 신경망 프루닝에서의 희소성 제약이 있는 이차형 문제에서의 성능을 향상시킨다.
• 기존 방법에서 이차형 인자들을 독립적으로 취급하는 것이 최적화 품질을 떨어뜨리는 히وري스틱 단순화를 초래함을 입증한다.
• 이차형 학습 작업에서 수렴성과 해 품질을 향상시키는 일반화 가능한 최적화 프레임워크를 제공한다.

제안 방법

• 이차형 모델에서 두 은닉 변수(예: A와 x) 간의 결합 관계를 모델링하기 위해 투영 함수를 도입하여 기울기 갱신을 조율한다.
• 목표 함수를 복합형으로 설정한다: ‖b − Ax‖₂² + λ‖x‖₁ + R(A), 여기서 x는 희소하고 A는 변환 행렬이다.
• 표준 교차 최적화를 대체해 A와 x 간의 상호 의존성을 고려한 동기 기울기 하강 전략을 도입한다.
• 한 변수에 대해 ℓ₁ 정규화를 적용하고, 효율적인 ℓ₁ 최소화를 위해 푸리에 도메인에서 소프트 스레시홀딩을 활용한다.
• 기존 프레임워크인 CSC와 CNN 프루닝에 CoGD를 통합하여, 기존의 표준 SGD 또는 ADMM 기반 솔버를 새로운 기울기 조율 메커니즘으로 대체한다.
• 학습률과 초기화를 에포크별로 조정하여 수렴 안정성을 향상시키고 국소 최솟값을 피하는 수정된 최적화 궤적을 사용한다.

실험 결과

연구 질문

• RQ1 최적화 도중 두 은닉 변수 간의 결합 관계를 명시적으로 모델링함으로써 이차형 모델의 기울기 소실 문제를 완화할 수 있는가?
• RQ2 결합된 변수들 간의 기울기 갱신을 동기화하면 교차 최적화에 비해 더 빠르고 안정적인 수렴을 이룰 수 있는가?
• RQ3 제안된 조율 메커니즘이 이미지 복원 및 네트워크 프루닝과 같은 희소성 제약이 있는 이차형 문제에서 성능 향상에 기여하는가?
• RQ4 표준 벤치마크에서 정확도, FLOPs 감소, 수렴 속도 측면에서 CoGD의 성능가 최신 기술 수준의 방법과 비교해 어떻게 되는가?
• RQ5 투영 기반 조율 프레임워크는 CSC 및 CNN 프루닝을 포함한 다양한 이차형 학습 작업에 일반화 가능한가?

주요 결과

• CoGD는 ResNet-50에서 ImageNet에서 정확도가 0.62% 하락하는 데도 불구하고 최대 0.35× FLOPs 감소를 달성하여 이전 방법을 능가한다.
• CIFAR-10에서 CoGD는 FLOPs를 51% 감소시켜 274.74M으로 줄였고, 정확도는 표준 SGD의 94.81%에서 95.30%로 향상되었다.
• 이 방법은 CNN 프루닝에서 두 변수의 동기 수렴을 가능하게 하여, 한 쪽이 국소 최솟값에 갇히는 것을 방지한다.
• 실험 결과 CoGD는 특히 높은 희소성 조건에서 기준 방법에 비해 이미지 복원 및 보간 성능을 크게 향상시켰다.
• 제거 분석 결과 CoGD의 조율 메커니즘이 표준 SGD보다 더 빠른 수렴과 더 나은 일반화 성능을 제공함을 확인했다.
• CoGD는 MobileNetV2와 같은 효율적인 아키텍처와도 호환되며, 0.45× FLOPs 감소와 0.18% 정확도 하락으로 성능을 달성했다.