[論文レビュー] Constrained Monotonic Neural Networks

Davor Runje, Sharath M Shankaranarayana|arXiv (Cornell University)|May 24, 2022

Neural Networks and Applications被引用数 6

ひとこと要約

本稿では、ReLU などの非飽和活性化関数を用いて、任意の単調関数をモデル化できる、新しい制約付き単調ニューラルネットワークアーキテクチャを提案する。2つの導出された単調活性化関数と重みの制約を導入することで、より少ないパラメータで、追加の訓練複雑性なしに、最先端の精度を達成し、単調性を保証するとともに、ℝⁿ のコンact部分集合上で任意の連続的単調関数を近似可能となる。

ABSTRACT

Wider adoption of neural networks in many critical domains such as finance and healthcare is being hindered by the need to explain their predictions and to impose additional constraints on them. Monotonicity constraint is one of the most requested properties in real-world scenarios and is the focus of this paper. One of the oldest ways to construct a monotonic fully connected neural network is to constrain signs on its weights. Unfortunately, this construction does not work with popular non-saturated activation functions as it can only approximate convex functions. We show this shortcoming can be fixed by constructing two additional activation functions from a typical unsaturated monotonic activation function and employing each of them on the part of neurons. Our experiments show this approach of building monotonic neural networks has better accuracy when compared to other state-of-the-art methods, while being the simplest one in the sense of having the least number of parameters, and not requiring any modifications to the learning procedure or post-learning steps. Finally, we prove it can approximate any continuous monotone function on a compact subset of $\mathbb{R}^n$.

研究の動機と目的

• 医療や金融など、モデルの解釈可能性と公平性が不可欠な分野において、ニューラルネットワークに単調性を強制する課題に対処すること。
• ReLU などの非飽和活性化関数を用いる場合に、従来の重み符号制約ネットワークが凸関数に限定されてしまうという限界を克服すること。
• 標準的かつ広く採用されている活性化関数を用いても、非凸的単調関数の近似を可能にしつつ、単調性を維持する手法を開発すること。
• 既存の最先端手法と比較して、計算およびパラメータのオーバーヘッドを最小限に抑えた優れた性能を達成すること。
• 提案アーキテクチャが、ℝⁿ のコンact部分集合上で任意の連続的単調関数を近似可能であることを理論的に証明すること。

提案手法

• ベースとなる非飽和単調活性化関数（例：ReLU）から導出された2つの新しい単調活性化関数を導入し、単調性を保ちつつ非凸関数の近似を可能にする。
• 同じ層内の異なるニューロンサブセットに、元の活性化関数と2つの導出関数を適用することで、制約付き単調全結合層を構築する。
• 層内のすべての重みを非負に制約することで単調性を強制し、活性化関数の選択に関わらず出力が単調であることを保証する。
• 標準的なバックプロパゲーションと勾配降下法を用いて訓練するが、追加の正則化、損失関数の変更、または後処理ステップは不要である。
• ネットワークアーキテクチャを標準的な全結合層の即時置換可能なものに保つことで、訓練の簡便性と推論効率を維持する。
• 非飽和活性化関数の広いクラスに対して、このアーキテクチャがℝⁿ のコンact部分集合上で任意の連続的単調関数を近似可能であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 ReLU などの非飽和活性化関数を用いた単調ニューラルネットワークは、非凸的単調関数を近似可能か？
• RQ2 提案手法は、COMET や Min-Max Net といった既存の最先端手法と比較して、精度およびパラメータ効率において優れているか？
• RQ3 追加の訓練手順や後処理ステップを要せず、単調性を保証できるか？
• RQ4 COMET や Certified といった代替手法と比較して、計算複雑性およびモデルサイズの点でどのように異なるか？
• RQ5 提案手法は、ℝⁿ のコンact部分集合上で任意の連続的単調関数を理論的に近似可能か？

主な発見

• COMET や Min-Max Net といった最先端手法と比較して、分類タスクでは優れたテスト精度、回帰タスクでは低い平均二乗誤差（MSE）および平均二乗誤差（RMSE）を達成した。
• COMET や Certified といった代替手法と比較して、パラメータ数が桁違いに少ない——最大で2桁少ない——ことから、メモリ使用量と推論コストを顕著に削減した。
• Min-Max Network や Deep Lattice Network（DLN）と比較して、より少ないパラメータ数とより単純な訓練手順で、優れた性能を達成した。
• 重みの制約と活性化関数の設計により、構築段階で単調性が保証され、訓練中に反復的またはヒューリスティックな強制手法を必要としなかった。
• 10回のランダム実行において一貫した性能を示し、最高の5つの結果の平均値と標準偏差を報告した。これは、再現性と安定性の高さを示している。
• 理論的分析により、このアーキテクチャがℝⁿ のコンact部分集合上で任意の連続的単調関数を近似可能であることが証明され、単調関数に対する普遍的近似能力が確立された。