[論文レビュー] Expressive Monotonic Neural Networks

O. Kitouni, N. S. Nolte+1 more|arXiv (Cornell University)|Jul 14, 2023

Explainable Artificial Intelligence (XAI)Computer Science被引用数 3

ひとこと要約

本稿では、証明可能なリプシッツ制御を備えた重み制約付き残差構造を用いて、任意の入力サブセットにおける正確な単調性を強制する表現力のある単調ニューラルネットワークを提案する。この手法は、粒子物理学や社会的応用を含む多様なベンチマークで、最小限の計算コストと高い表現力・解釈可能性を維持しつつ、強固で最先端の性能を達成する。

ABSTRACT

The monotonic dependence of the outputs of a neural network on some of its inputs is a crucial inductive bias in many scenarios where domain knowledge dictates such behavior. This is especially important for interpretability and fairness considerations. In a broader context, scenarios in which monotonicity is important can be found in finance, medicine, physics, and other disciplines. It is thus desirable to build neural network architectures that implement this inductive bias provably. In this work, we propose a weight-constrained architecture with a single residual connection to achieve exact monotonic dependence in any subset of the inputs. The weight constraint scheme directly controls the Lipschitz constant of the neural network and thus provides the additional benefit of robustness. Compared to currently existing techniques used for monotonicity, our method is simpler in implementation and in theory foundations, has negligible computational overhead, is guaranteed to produce monotonic dependence, and is highly expressive. We show how the algorithm is used to train powerful, robust, and interpretable discriminators that achieve competitive performance compared to current state-of-the-art methods across various benchmarks, from social applications to the classification of the decays of subatomic particles produced at the CERN Large Hadron Collider.

研究の動機と目的

• 指定された入力特徴量に対する単調な依存関係を証明可能に強制するニューラルネットワークアーキテクチャの開発。特に、重要な応用分野における解釈可能性と公平性を確保すること。
• モデルの表現力に影響を与えることなく、入力摂動に対して強固であることを保証するため、リプシッツ制約をアーキテクチャに統合すること。
• ヒューリスティックな正則化や高コストな認証手法といった従来手法の限界を克服するため、単調性をネットワーク構造そのものに埋め込むこと。
• 単調性と強度を維持しながら、高性能で小型のモデルを実現し、実世界および科学的ベンチマークで競争力のある精度を達成すること。
• 実用的展開を念頭に置いた、シンプルでスケーラブルかつ理論的根拠を持つ単調ディープラーニングの解決策を提供すること。

提案手法

• 単一の残差接続を用いた、最小限にリプシッツ定数1に制限された全結合ネットワークを採用。これにより、構造的に任意の入力サブセットにおける単調性が保証される。
• 重み制約をレイヤーワイズ正規化により適用し、リプシッツ定数を境界化することで、モデルの強度を直接制御する。
• ユニット勾配ノルムを持つ活性化関数（例：GroupSort）を採用し、ユニバーサル近似性質を維持する。
• 標準的な最適化手法を用いてエンドツーエンドで訓練し、トレーニング中にも単調性およびリプシッツ制約が維持される。
• 単調性とリプシッツ制御以外のインダクティブバイアスを最小限に抑え、高い表現力を実現するアーキテクチャ設計。
• スタンドアロンのPyTorchパッケージとして軽量な実装を提供。これにより、統合と再現性が容易になる。

Figure 1: $p$ -norm constrained gradients showing (red) $p=2$ and (green) $p=1$ . The gradient of a function $g({\bm{x}})$ that is Lip p=2 resides within the dashed red line. For a Lip p=1 function, the boundary is the green dashed line. Note that ${\bm{x}}$ is taken to be a row vector. The residual

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークアーキテクチャは、任意の入力サブセットにおける正確な単調性を保ちながら、高い表現力と強度を維持できるか？
• RQ2 本手法は、従来の正則化ベースまたは認証ベースのアプローチと比較して、性能、計算コスト、信頼性の面でどのように差をつけるか？
• RQ3 小さな、単調なネットワークは、実世界および科学的ベンチマークでどれほど競争力のある性能を達成できるか？
• RQ4 重み制約によるリプシッツ制御の統合は、モデル精度を劣化させることなく強度を向上させるか？
• RQ5 このアーキテクチャは、粒子物理学やフェアネスを重視する意思決定システムといったハイリスク分野に効果的に応用可能か？

主な発見

• ChestXRayデータセットでは、本手法が (65.44±0.03)% のテスト精度を達成し、先行する最先端手法を上回った。
• Heart Diseaseデータセットでは、(89.6±1.9)% の精度を達成し、COMETベースラインの (86±3)% を顕著に上回った。
• Auto MPG回帰タスクでは、平均二乗誤差が (7.58±1.2) に達し、COMETベースラインの (8.81±1.81) を上回った。
• MNIST、CIFAR-10、CIFAR-100のすべてで、実データおよびランダムにラベル付けされたデータに対して100%の訓練精度を達成。有限サンプルにおける強力な表現力が裏付けられた。
• 極めて少ないパラメータ数（例：'mini'バージョン）であっても、モデルは競争力のある性能を維持しており、設計段階で単調性を埋め込むことで、小型ネットワークが極めて効果的であることが示された。
• 本手法はCERNのLHCb実験のリアルタイムデータ処理パイプラインに成功裏に導入され、高エネルギー物理学応用分野における実用性が検証された。

Figure 2: Our monotonic architecture (green) and an unconstrained network (red) trained on two realizations (purple data points) of a one dimensional dataset. The shaded regions are where training data were absent. Each model is trained using 10 random initialization seeds. The dark lines are averag