[論文レビュー] Monotone operator equilibrium networks

Ezra Winston, J. Zico Kolter|arXiv (Cornell University)|Jun 15, 2020

Machine Learning and ELM参考文献 26被引用数 13

ひとこと要約

この論文は、単調作用素理論を活用することで一意で安定した均衡解を保証する、新たな暗黙的深さのニューラルネットワークであるMonotone Operator Equilibrium Networks (monDEQ)を紹介する。ネットワークのパrameterizationを単調性を保つように設計し、Peaceman-Rachfordのような効率的な作用素分割ソルバを用いることで、Neural ODE や標準的な DEQ よりも優れた精度と効率性を達成し、CIFAR-10 において Augmented Neural ODE よりも15.1%高い性能を発揮するが、関数評価回数は著しく少ない。

ABSTRACT

Implicit-depth models such as Deep Equilibrium Networks have recently been shown to match or exceed the performance of traditional deep networks while being much more memory efficient. However, these models suffer from unstable convergence to a solution and lack guarantees that a solution exists. On the other hand, Neural ODEs, another class of implicit-depth models, do guarantee existence of a unique solution but perform poorly compared with traditional networks. In this paper, we develop a new class of implicit-depth model based on the theory of monotone operators, the Monotone Operator Equilibrium Network (monDEQ). We show the close connection between finding the equilibrium point of an implicit network and solving a form of monotone operator splitting problem, which admits efficient solvers with guaranteed, stable convergence. We then develop a parameterization of the network which ensures that all operators remain monotone, which guarantees the existence of a unique equilibrium point. Finally, we show how to instantiate several versions of these models, and implement the resulting iterative solvers, for structured linear operators such as multi-scale convolutions. The resulting models vastly outperform the Neural ODE-based models while also being more computationally efficient. Code is available at http://github.com/locuslab/monotone_op_net.

研究の動機と目的

• Deep Equilibrium Networks (DEQs) や Neural ODE などの既存の暗黙的深さモデルにおける不安定性と解の保証の欠如に対処すること。
• 単調作用素理論を用いて、暗黙的ネットワークにおける均衡点の存在と一意性を保証するフレームワークの開発。
• 作用素分割法を用いて、均衡を計算するための効率的で安定した反復的ソルバの設計。
• 単調パラメータ化が、標準的なビジョンベンチマークにおける高い性能と計算効率を実現できることの実証。
• 記憶効率と収束安定性に優れた、理論的裏付けのある実用的代替手法としての従来の深層ネットワークへの代替案の提供。

提案手法

• 重み tied ネットワークにおける均衡の特定と単調作用素分割問題の解法の間の同値性に基づくモデル。
• ネットワーク重みのパラメータ化により、すべての作用素が単調に保たれ、均衡点の存在と一意性が保証される。
• フォワードパスは、前向き後向き法や Peaceman-Rachford 分割などの作用素分割アルゴリズムで解き、これらはグローバル収束が保証されている。
• バックプロパゲーションは陰関数定理を用い、バックワードパスでは一意解が保証される双対作用素分割問題が生じる。
• 畳み込み層では、線形作用素の逆行列を効率的に計算するために高速フーリエ変換が用いられ、マルチスケール畳み込みにおけるスケーラブルな学習を可能にする。
• 反復的ソルバを用いた効率的な実装により、全結合型、完全畳み込み型、マルチティアード畳み込みネットワークを含む多様なアーキテクチャをサポートする。

実験結果

リサーチクエスチョン

• RQ1 単調作用素理論を用いて、暗黙的深さネットワークにおける一意で安定した均衡解を保証できるか？
• RQ2 ネットワークのパラメータ化をどのように設計すれば単調性を保ち、解の存在を保証できるか？
• RQ3 Peaceman-Rachford などの作用素分割法は、標準的な固定点ソルバーよりも、暗黙的ネットワークにおいてより速く安定した収束を実現できるか？
• RQ4 標準的なビジョンベンチマークにおいて、monDEQ は Neural ODE や DEQ と比べて精度と効率で優れているか？
• RQ5 スペクトル法（例：FFT）を用いて、構造的線形作用素（例：畳み込み）の効率的逆行列化が、均衡ネットワークの文脈で可能か？

主な発見

• 小さな単一畳み込み monDEQ は、CIFAR-10 で Augmented Neural ODE よりも15.1%高い性能を発揮し、テスト精度87.2%を達成した。
• すべての monDEQ は、CIFAR-10、SVHN、MNIST において ODE に基づくモデルを著しく上回ったが、MNIST における全結合モデルを除いてはそうだった。
• 制約のない重みを用いた標準的な DEQ は、300 回の Broyden 迴帰でさえも最初の数エポック以内に発散したが、monDEQ は安定したままであった。
• より大きな monDEQ は、データ拡張を用いて CIFAR-10 で 89% のテスト精度を達成し、従来の深層ネットワークとの差を埋めた。
• monDEQ の学習は、CIFAR-10 で 1.4 時間（170k パラメータ）で完了したが、Neural ODE は 4.4 時間、ANODE は 3.3 時間を要した。ミニバッチあたりの関数評価回数はわずか 20 回だった。
• 最適に調整された場合、Peaceman-Rachford 分割は前向き後向き分割よりも速い収束を示したが、ステップサイズ α に対して非単調な依存関係を示した。