[論文レビュー] Alternating Direction Method of Multipliers for Quantization

Tianjian Huang, Prajwal Singhania+3 more|arXiv (Cornell University)|Sep 8, 2020

Sparse and Compressive Sensing Techniques参考文献 53被引用数 4

ひとこと要約

本稿では、バイナリ化ニューラルネットワークのような非凸離散最適化問題を対象として、量子化された機械学習モデルに対する増大乗数法（Alternating Direction Method of Multipliers, ADMM）の新しい応用であるADMM-Qを提案する。ADMM-Qの反復点が停留点に収束することを確立し、ラグランジュ関数の単調収束を証明することで、離散制約に対するADMMの理論的分析の第一例を提供する。本手法は、ソフトプロジェクションと確率的更新を拡張することで、ベースライン手法よりも優れた経験的性能を示している。

ABSTRACT

Quantization of the parameters of machine learning models, such as deep neural networks, requires solving constrained optimization problems, where the constraint set is formed by the Cartesian product of many simple discrete sets. For such optimization problems, we study the performance of the Alternating Direction Method of Multipliers for Quantization ($ exttt{ADMM-Q}$) algorithm, which is a variant of the widely-used ADMM method applied to our discrete optimization problem. We establish the convergence of the iterates of $ exttt{ADMM-Q}$ to certain $ extit{stationary points}$. To the best of our knowledge, this is the first analysis of an ADMM-type method for problems with discrete variables/constraints. Based on our theoretical insights, we develop a few variants of $ exttt{ADMM-Q}$ that can handle inexact update rules, and have improved performance via the use of "soft projection" and "injecting randomness to the algorithm". We empirically evaluate the efficacy of our proposed approaches.

研究の動機と目的

• 機械学習における非凸離散最適化問題にADMMを適用した際の理論的理解の不足に対処すること。
• 量子化制約に特化したADMMの変種ADMM-Qの収束挙動を分析すること。
• ADMM-Qが離散設定において目的関数を単調に改善するか、意味のある停留点に収束するかを調査すること。
• 不正確、確率的、またはソフトプロジェクション更新を用いたADMM-Qの実用的変種を開発・評価し、ロバスト性と性能を向上させること。
• ヒューリスティックな強化（例：Straight-Through Estimator）からコアアルゴリズムを分離し、ADMM-Qの本質的挙動をよりよく理解すること。

提案手法

• モデルパラメータが離散集合（例：バイナリ化のための±1）に制約される量子化問題にADMM-Qを適用し、プライマル変数と双対変数の交互最小化を実行する。
• 制約違反の低減のため、増大ラグランジュ関数の最小化と双対上昇更新を用いて量子化制約を強制する。
• 更新中の滑らかな遷移を可能にするために、ソフトプロジェクション機構を導入する。
• 対称性を破り、悪い局所最適解からの脱出を促進するため、確率的更新を統合する。
• 現実の学習シナリオにおけるノイズや近似をモデル化するため、不正確または確率的更新を扱えるように拡張する。
• 理論的分析により、ラグランジュ関数が単調に収束し、反復点のすべての極限点が停留性条件を満たすことを証明する。

実験結果

リサーチクエスチョン

• RQ1 ADMM-Qは、離散的かつ非凸的な最適化問題において、反復の過程で目的関数を保証的に改善するか？
• RQ2 離散制約の文脈において、ADMM-Qの反復点の極限点について何が言えるか？
• RQ3 ADMM-Qは、不正確、確率的、または確率的更新を許容しても、収束性や性能を失わないか？
• RQ4 ADMM-Qは、投影勾配降下法のような単純な手法と比較して、離散量子化問題を解く際に優れているか？
• RQ5 離散的かつ非凸的な問題にADMMを適用した場合、理論的保証を確立できるか——これは、これまでの文献では未解決であった。

主な発見

• ADMM-Qはラグランジュ関数値において単調に収束するため、その経験的成功の理論的基盤を提供する。
• ADMM-Qの反復点のすべての極限点が停留性条件を満たすため、意味のある解に収束していることが示される。
• 提案された変種（ADMM-R（確率的）およびADMM-S（ソフトプロジェクション））は、標準ADMM-Qよりも優れた経験的性能を示す。
• ADMM-Qは、投影勾配降下法や標準ADMMと比較して、量子化された二次最適化およびニューラルネットワーク学習の両方で優れた性能を発揮する。
• Straight-Through Estimator やアーキテクチャの変更といったヒューリスティック技術に依存せずに、強力な性能を達成しており、コアアルゴリズムの有効性を示している。
• MNISTおよびCIFAR-10における経験的結果から、事前学習とソフトプロジェクションを用いたADMM-Qは、低精度の重みを維持しながらも高いテスト精度を達成している。