[論文レビュー] Cogradient Descent for Bilinear Optimization

Li’an Zhuo, Baochang Zhang+6 more|arXiv (Cornell University)|Jun 16, 2020

Sparse and Compressive Sensing Techniques参考文献 29被引用数 5

ひとこと要約

本稿では、二重線形モデル向けの新しい最適化アルゴリズムであるCogradient Descent (CoGD) を提案する。CoGD は、スパースコーディングベクトルと変換行列といった結合された変数間で勾配更新を同期化するための、射影に基づく調整メカニズムを用いる。非同期的収束に起因する勾配消滅を解消することで、画像再構成、穴埋め補填、ニューラルネットワークのプルーニングにおいて、最先端の性能を達成し、最大で 0.35× のFLOPs削減と、ImageNet での 0.62% の精度低下にとどめる。

ABSTRACT

Conventional learning methods simplify the bilinear model by regarding two intrinsically coupled factors independently, which degrades the optimization procedure. One reason lies in the insufficient training due to the asynchronous gradient descent, which results in vanishing gradients for the coupled variables. In this paper, we introduce a Cogradient Descent algorithm (CoGD) to address the bilinear problem, based on a theoretical framework to coordinate the gradient of hidden variables via a projection function. We solve one variable by considering its coupling relationship with the other, leading to a synchronous gradient descent to facilitate the optimization procedure. Our algorithm is applied to solve problems with one variable under the sparsity constraint, which is widely used in the learning paradigm. We validate our CoGD considering an extensive set of applications including image reconstruction, inpainting, and network pruning. Experiments show that it improves the state-of-the-art by a significant margin.

研究の動機と目的

• 結合された変数を最適化する際の非最適な収束と、非同期勾配降下に起因する勾配消滅を解消すること。
• 隠れ変数間の勾配を射影関数を用いて調整する理論的枠組みを構築し、同期的な最適化を保証すること。
• 特に畳み込みスパースコーディング (CSC) やニューラルネットワークのプルーニングにおいて、スパarsity制約付きの二重線形問題の性能を向上させること。
• 従来の手法が二重線形要因を独立して扱うことで、最適化品質を低下させるヒューリスティックな簡略化が生じることを示すこと。
• 二重線形学習タスクにおける収束性と解の質を向上させる、一般化可能な最適化フレームワークを提供すること。

提案手法

• 二重線形モデルにおける2つの隠れ変数（例：A と x）間の結合関係をモデル化するための射影関数を導入し、勾配の同期的更新を可能にする。
• 目的関数を合成型として定式化する：‖b − Ax‖₂² + λ‖x‖₁ + R(A)。ここで x はスパースであり、A は変換行列である。
• 標準的な交互最適化に代えて、A と x 間の相互依存性を考慮した同期勾配降下戦略を採用する。
• 1つの変数に ℓ₁ 正則化を適用し、効率的な ℓ₁ 最小化のためのフーリエ領域におけるソフトスレッショーディングを活用する。
• CSC や CNN プルーニングといった既存フレームワークに CoGD を統合し、従来の SGD や ADMM を用いたソルバーよりも新しい勾配調整メカニズムを導入する。
• 収束安定性を向上させ、局所最適解を避けるために、エポックごとに学習率と初期化を調整した修正された最適化軌道を用いる。

実験結果

リサーチクエスチョン

• RQ1 最適化中に2つの隠れ変数間の結合関係を明示的にモデル化することで、二重線形モデルにおける勾配消滅を軽減できるか？
• RQ2 結合された変数間で勾配更新を同期化することで、交互最適化と比較してより高速かつ安定した収束が達成できるか？
• RQ3 提案された調整メカニズムは、画像再構成やネットワークプルーニングといったスパarsity制約付きの二重線形問題において性能向上をもたらすか？
• RQ4 標準ベンチマーク上での精度、FLOPs 削減、収束速度という観点から、CoGD の性能は最先端手法と比較してどうか？
• RQ5 射影に基づく調整フレームワークは、CSC や CNN プルーニングを含む、さまざまな二重線形学習タスクに一般化可能か？

主な発見

• ResNet-50 において、CoGD は 0.35× のFLOPs削減を達成し、ImageNet での精度低下はたった 0.62% にとどまる。これは先行手法を上回る性能である。
• CIFAR-10 では、CoGD により FLOPs が 51% 削減（274.74M に）され、精度は 95.30% に向上。標準的な SGD と比較すると 94.81% にとどまる。
• この手法により、CNN プルーニングにおいて両変数の同期的収束が実現され、一方が局所最適解に陥るのを防ぐ。
• 実験では、CoGD が高スパarsity条件下でも、ベースライン手法と比較して画像再構成および穴埋め補填性能を顕著に向上させた。
• アブレーションスタディの結果、CoGD の調整メカニズムは、標準的な SGD と比較して収束が速く、一般化性能も優れていることが確認された。
• CoGD は MobileNetV2 といった効率的なアーキテクチャとも互換性があり、0.45× のFLOPs削減とたった 0.18% の精度低下で実現した。