[論文レビュー] Imposing Hard Constraints on Deep Networks: Promises and Limitations

Pablo Márquez-Neila, Mathieu Salzmann+1 more|arXiv (Cornell University)|Jun 7, 2017

Human Pose and Action Recognition参考文献 16被引用数 56

ひとこと要約

この論文は、Krylovサブスペースアプローチを用いて大規模な制約付き最適化問題を解くことで深層ネットワークに硬い制約を課せることができるが、Adamによるソフト制約の方が実用的であり、より良い性能を発揮する。

ABSTRACT

Imposing constraints on the output of a Deep Neural Net is one way to improve the quality of its predictions while loosening the requirements for labeled training data. Such constraints are usually imposed as soft constraints by adding new terms to the loss function that is minimized during training. An alternative is to impose them as hard constraints, which has a number of theoretical benefits but has not been explored so far due to the perceived intractability of the problem. In this paper, we show that imposing hard constraints can in fact be done in a computationally feasible way and delivers reasonable results. However, the theoretical benefits do not materialize and the resulting technique is no better than existing ones relying on soft constraints. We analyze the reasons for this and hope to spur other researchers into proposing better solutions.

研究の動機と目的

• ラベル付きデータだけに依存せず、ドメイン知識を組み込むために深層ネットワークの出力を制約する動機付け。
• 深層ネットワークのハード制約付き最適化を定式化し、ソフト制約損失と対比する。
• 数百万のパラメータと巨大な制約集合を扱うためのスケーラブルな数値戦略を開発する。
• 深層学習におけるハード制約の実用的な性能と制限を、ソフト制約と比較して評価する。

提案手法

• ネットワーク出力に対して C_j(w) = 0 のハード制約を定式化し、問題を min_w R(w) s.t. C_j(w)=0 と表現する。
• KKT条件を適用して、wとラグランジュ乗数を更新する線形化系を導出する。
• 大規模な線形系をBを明示的に作成せずに解くために、Krylovサブスペース法（MINRES-QLP）を用いる。
• PearlmutterのR-opとL-opを活用して、ヤコビ行列とベクトルの積を計算し、効率的な行列-ベクトル乗算を実現する。
• 非常に大規模な制約集合を管理するために確率的にアクティブ制約を取り入れ、更新には制約付きAdamを拡張して適用する。
• 必要に応じて、各イテレーションで最も違反の大きい制約を選択する制約マイニングを実装する。

実験結果

リサーチクエスチョン

• RQ1 スケール適用可能な範囲で、深層ネットワークの出力にハード制約を課すことは実現可能か？
• RQ2 ハード制約は深層学習において、ソフト制約より理論的または実証的な利点を提供するか？
• RQ3 KKT条件から生じる大規模で病的条件付きの線形系を解くためのどのような数値戦略が有効か？
• RQ4 深層ネットにおける確率的制約選択と制約付き最適化は、実務でどのように相互作用するか？

主な発見

• ハード制約はKrylovサブスペース法とMINRES-QLPで計算的に実現可能だが、ソフト制約より遅い。
• Adamを用いたソフト制約は、試験設定で一般的に予測性能が高く、学習がより安定する。
• 各イテレーションでアクティブ制約の部分集合化が行われるため、ハード制約は訓練データ上でも制約の完全な満足を保証しない。
• 本研究では、Adamベースの制約付き更新が、射影ベースのハード制約更新より収束性が良い。
• 制約の線形化は病的条件数となったり、わずかに不適合となることがあり、最適化を複雑にし、ハード制約の困難さを説明する。
• 合成例は、安定性と制約の満足度の点でソフト制約がハード制約を上回すことを示している。