[論文レビュー] Log-barrier constrained CNNs.

Hoel Kervadec, José Dolz+4 more|arXiv (Cornell University)|Apr 8, 2019

Stochastic Gradient Optimization Techniques被引用数 7

ひとこと要約

本稿では、双対更新を伴わずにラグランジュ最適化を近似する、対数バリア制約付き畳み込みニューラルネットワーク（CNN）手法を提案する。不等式制約を弱教師付きセマンティックセグメンテーションで強制するために、非制約的対数バリア拡張が用いられる。ペナルティベースの手法と比較して、訓練の安定性と精度が向上し、凸ケースでは理論的劣化限界が保証され、非凸問題においても強力な実験的性能を示す。

ABSTRACT

This study investigates imposing inequality constraints on the outputs of CNNs for weakly supervised segmentation. In the general context of deep networks, constraints are commonly handled with penalty approaches for their simplicity, and despite their well-known limitations. Lagrangian optimization has well-established theoretical and practical advantages over penalty methods, but has been largely avoided for deep CNNs, mainly due to computational complexity and stability/convergence issues caused by alternating stochastic optimization and dual updates. Several recent studies showed that, in the context of deep CNNs, the theoretical advantages of Lagrangian optimization over simple penalties do not materialize in practice, with performances that are, surprisingly, worse. We leverage well-established concepts in interior-point methods, which approximate Lagrangian optimization with a sequence of unconstrained problems, while completely avoiding dual steps/projections. Specifically, we propose a sequence of unconstrained {\em log-barrier-extension} losses for approximating inequality-constrained CNN problems. The proposed extension has a duality-gap bound, which yields sub-optimality certificates for feasible solutions in the case of convex losses. While sub-optimality is not guaranteed for non-convex problems, the result shows that log-barrier extensions are a principled way to approximate Lagrangian optimization for constrained CNNs. Our approach addresses the well-known limitations of penalty methods and, at the same time, removes the explicit dual steps of Lagrangian optimization. We report comprehensive experiments showing that our formulation outperforms a recent penalty-based constrained CNN method, both in terms of accuracy and training stability.

研究の動機と目的

• ペナルティベースの手法が弱教師付きセマンティックセグメンテーションにおけるCNN出力の制約に及ぼす制限を是正すること。
• 深層CNNにおけるラグランジュ最適化を阻害してきた計算コストと収束問題を克服すること。
• 対数バリア拡張を用いて不等式制約付きCNN問題の原理的かつ非制約的近似を構築すること。
• 凸設定では双対ギャップの境界を用いて劣化証明を提供するとともに、非凸状況でも性能を維持すること。
• 従来の制約付きCNN手法と比較して、訓練の安定性とセグメンテーション精度を向上させること。

提案手法

• 本手法は、CNNにおける不等式制約を近似するために、非制約的対数バリア拡張損失の系列を用いる。
• 内部点法の原則を活用し、明示的な双対変数の更新や射影を回避する。
• 対数バリア損失関数は、制約に近づくにつれて急激に強化される対数的バリアにより、制約違反をペナルティ処理する。
• 凸損失設定における双対ギャップの制御を通じて、理論的劣化限界を維持する。
• 弱教師付きセマンティックセグメンテーションにこの定式化を適用し、クラスアクティビティマップが出力制約を満たすようにする。
• ラグランジュ手法で一般的に見られる、交互な確率的最適化と双対更新による不安定性を回避する。

実験結果

リサーチクエスチョン

• RQ1 明示的な双対更新を伴わず、対数バリア拡張が深層CNNにおけるラグランジュ最適化を効果的に近似できるか？
• RQ2 提案手法はペナルティベースの制約付きCNNと比較して、訓練の安定性とセグメンテーション精度を向上させるか？
• RQ3 対数バリア定式化は凸設定では劣化証明を提供できるが、非凸問題に対しても有効であるか？
• RQ4 不完全な監視信号を伴う弱教師付き学習下で、本手法はどのように性能を発揮するか？
• RQ5 双対ステップを回避することで、CNNにおける収束性と最適化ダイナミクスにどのような影響を与えるか？

主な発見

• 提案された対数バリア制約付きCNN手法は、セグメンテーション精度と訓練安定性の両面で、最近のペナルティベースの制約付きCNN手法を上回る。
• 凸損失設定では双対ギャップの境界を用いて劣化証明が得られ、理論的保証が提供される。
• 非凸ケースでは理論的劣化限界が保証されないものの、実験的に優れた性能を示す。
• ラグランジュ最適化における双対変数の更新に起因する不安定性と収束問題を回避する。
• 明示的な双対最適化ステップを必要とせず、対数バリア拡張が不等式制約を効果的に強制する。
• 包括的な実験により、弱教師付きセマンティックセグメンテーションベンチマークにおける本手法の優位性が確認された。