[논문 리뷰] Alternating Direction Method of Multipliers for Quantization

Tianjian Huang, Prajwal Singhania외 3명|arXiv (Cornell University)|2020. 09. 08.

Sparse and Compressive Sensing Techniques참고 문헌 53인용 수 4

한 줄 요약

이 논문은 이분화 신경망과 같은 비볼록 이산 최적화 문제를 대상으로 하여, 분할 기반 기계 학습 모델에 대한 분할 방법의 새로운 응용인 ADMM-Q를 제안한다. ADMM-Q의 반복값이 정류점으로 수렴하고 라그랑주 함수가 단조롭게 수렴함을 입증하며, 이는 이산 제약 조건에 대한 ADMM에 대한 최초의 이론적 분석을 제공한다. 소프트 투영과 랜덤화 업데이트를 통한 확장으로 기존 알고리즘 대비 향상된 경험적 성능을 보였다.

ABSTRACT

Quantization of the parameters of machine learning models, such as deep neural networks, requires solving constrained optimization problems, where the constraint set is formed by the Cartesian product of many simple discrete sets. For such optimization problems, we study the performance of the Alternating Direction Method of Multipliers for Quantization ($ exttt{ADMM-Q}$) algorithm, which is a variant of the widely-used ADMM method applied to our discrete optimization problem. We establish the convergence of the iterates of $ exttt{ADMM-Q}$ to certain $ extit{stationary points}$. To the best of our knowledge, this is the first analysis of an ADMM-type method for problems with discrete variables/constraints. Based on our theoretical insights, we develop a few variants of $ exttt{ADMM-Q}$ that can handle inexact update rules, and have improved performance via the use of "soft projection" and "injecting randomness to the algorithm". We empirically evaluate the efficacy of our proposed approaches.

연구 동기 및 목표

• 기계 학습에서 비볼록 이산 최적화 문제에 ADMM를 적용할 때 이론적 이해의 부족을 해결하기 위해.
• 양자화 제약 조건에 맞게 조정된 ADMM의 변종인 ADMM-Q의 수렴 행동을 분석하기 위해.
• ADMM-Q가 이산 설정에서 목적 함수를 단조롭게 개선하고 의미 있는 정류점으로 수렴하는지 조사하기 위해.
• 더 높은 내구성과 성능을 확보하기 위해 비정확하거나 랜덤화된, 또는 소프트 투영 업데이트를 포함한 ADMM-Q의 실용적 변종을 개발하고 평가하기 위해.
• 직접적인 히وري스틱 기법(예: 직선 통과 추정기)으로부터 핵심 알고리즘을 분리하여 ADMM-Q의 본질적 행동을 더 잘 이해하기 위해.

제안 방법

• 모델 파라미터가 이산 집합(예: 이진화의 경우 ±1)에 제약을 받는 양자화 문제에 ADMM-Q를 적용하며, 원시 변수와 이중 변수 간의 교대 최소화를 수행한다.
• 증강 라그랑주 최소화를 통해 양자화 제약 조건을 강제로 적용하고, 제약 위반 감소를 위한 이중 상승 업데이트를 수행한다.
• 업데이트 중 더 부드러운 전이를 가능하게 하기 위해 소프트 투영 메커니즘을 도입한다. 이는 수렴성과 안정성 향상에 기여한다.
• 대칭성을 깨고 열악한 국소 최소점에서 벗어나기 위해 랜덤화된 업데이트를 통합한다. 이는 내구성을 향상시킨다.
• 실제 훈련 환경에서 노이즈 또는 근사가 존재하는 경우를 모델링하기 위해 비정확하거나 확률적 업데이트를 처리할 수 있도록 방법을 확장한다.
• 이론적 분석을 통해 라그랑주 함수가 단조롭게 수렴하고, 모든 반복값의 극한점이 정류 조건을 만족함을 입증한다.

실험 결과

연구 질문

• RQ1 ADMM-Q는 비볼록 이산 최적화 문제에서 반복 과정 동안 목적 함수의 개선을 보장하는가?
• RQ2 이산 제약 조건의 맥락에서 ADMM-Q 반복값의 극한점에 대해 무엇을 말할 수 있는가?
• RQ3 ADMM-Q는 비정확하거나 랜덤화된, 또는 확률적 업데이트를 수용하면서도 수렴성이나 성능을 유지할 수 있는가?
• RQ4 ADMM-Q는 이산 양자화 문제를 해결하는 데 있어 간단한 방법인 투영 기반 경사 하강법보다 우수한가?
• RQ5 이전에 문헌에서 다루지 않은 바와 같이, 이산 비볼록 문제에 ADMM를 적용할 때 이론적 보장을 설정할 수 있는가?

주요 결과

• ADMM-Q는 라그랑주 함수 값에서 단조로운 수렴을 보이며, 경험적 성공에 대한 이론적 기반을 제공한다.
• ADMM-Q 반복값의 모든 극한점은 정류 조건을 만족하며, 이는 의미 있는 해로 수렴하고 있음을 시사한다.
• 제안된 변종인 ADMM-R(랜덤화)와 ADMM-S(소프트 투영)는 표준 ADMM-Q보다 향상된 경험적 성능을 보였다.
• ADMM-Q는 투영 기반 경사 하강법과 표준 ADMM와 같은 경쟁 알고리즘보다 이산 양자화 최적화 문제와 신경망 훈련 모두에서 뛰어난 성능을 보였다.
• 직선 통과 추정기나 아키텍처 수정과 같은 히وري스틱 기법에 의존하지 않고도 높은 성능을 달성하여 핵심 알고리즘의 효용성을 입증했다.
• MNIST와 CIFAR-10에서의 경험적 결과는 사전 훈련과 소프트 투영을 적용한 ADMM-Q가 높은 테스트 정확도를 유지하면서도 저해상도 가중치를 유지함을 보여주었다.