[論文レビュー] Linear Inequality Constraints for Neural Network Activations.

Thomas Frerix, Matthias Nießner+1 more|arXiv (Cornell University)|Feb 5, 2019

Generative Adversarial Networks and Image Synthesis参考文献 16被引用数 3

ひとこと要約

この論文では、訓練中に均質的線形不等式制約（Ax ≤ 0）をニューラルネットワークの活性化関数に直接埋め込む手法を提案している。初期化時に許容領域のパrameterization を用い、標準的な確率的勾配降下法を用いることで、実行時における射影を必要とせず、常に制約が満たされるように保証する。このアプローチにより、後処理射影手法に比べて最大100倍の高速化が達成される。

ABSTRACT

We propose a method to impose homogeneous linear inequality constraints of the form $Ax\leq 0$ on neural network activations. The proposed method allows a data-driven training approach to be combined with modeling prior knowledge about the task. One way to achieve this task is by means of a projection step at test time after unconstrained training. However, this is an expensive operation. By directly incorporating the constraints into the architecture, we can significantly speed-up inference at test time; for instance, our experiments show a speed-up of up to two orders of magnitude over a projection method. Our algorithm computes a suitable parameterization of the feasible set at initialization and uses standard variants of stochastic gradient descent to find solutions to the constrained network. Thus, the modeling constraints are always satisfied during training. Crucially, our approach avoids to solve an optimization problem at each training step or to manually trade-off data and constraint fidelity with additional hyperparameters. We consider constrained generative modeling as an important application domain and experimentally demonstrate the proposed method by constraining a variational autoencoder.

研究の動機と目的

• 活性化関数における線形不等式制約を通じて、ドメイン固有の事前知識をニューラルネットワークに統合することを目的とする。
• 推論時における高コストな射影ステップの必要性を排除するために、制約をネットワークアーキテクチャに直接埋め込むこと。
• 制約の整合性のための追加最適化ステップやハイパーパrameterチューニングを避けることで、訓練効率を維持すること。
• 特に変分オートエンコーダーにおいて、制約付き深層生成モデリングの実現可能性と利点を示すこと。

提案手法

• ネットワーク初期化時に、Ax ≤ 0 を満たす活性化の許容領域を、非制約変数から制約部分空間への写像を用いたパrameterizationで表現する。
• エンドツーエンドの訓練を標準的な確率的勾配降下法で行い、最適化の全過程で制約が本質的に満たされるように保証する。
• 各訓練ステップで制約付き最適化問題を解くのを避けるために、事前に許容可能なパrameterizationを定義する。
• バックプロパゲーションの過程で制約構造が保持され、制約多様体内での勾配ベースの学習が可能になる。
• 特に潜在表現に非負性や有界性などの制約を課すために、変分オートエンコーダーにこの手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 実行時における射影を必要とせずに、ニューラルネットワークの活性化関数に線形不等式制約を直接アーキテクチャに埋め込むことは可能か？
• RQ2 訓練時に制約を埋め込むことで、後処理射影手法に比べて顕著な推論速度の向上が達成されるか？
• RQ3 制約の整合性のための追加ハイパーパrameterを避けることで、訓練効率を維持できるか？
• RQ4 生成モデリングにおける制約付き変分オートエンコーディングにおいて、この手法はどの程度有効か？

主な発見

• 提案手法は、後処理射影ベースラインに比べて推論速度が最大100倍速くなった。
• 追加の最適化ステップやハイパーパrameterチューニングを必要とせず、訓練全体で制約が厳密に満たされた。
• 特に変分オートエンコーダーにおいて、事前知識の効率的統合が可能になった。
• 標準的な確率的勾配降下法を用いても、訓練の安定性と収束性が維持された。