[論文レビュー] Certified Monotonic Neural Networks

Xingchao Liu, Xing Han+2 more|arXiv (Cornell University)|Nov 20, 2020

Adversarial Robustness in Machine Learning被引用数 31

ひとこと要約

検証ベースのフレームワークを提案し、選択された入力に対して認定済みの単調性を持つニューラルネットワークを訓練する。単調性チェックを混合整数線形計画（MILP）として定式化する。方法は単調性保証を備えた柔軟なアーキテクチャの学習を可能にし、従来の単調性モデルと比べて精度と解釈性で優れていることを示す。

ABSTRACT

Learning monotonic models with respect to a subset of the inputs is a desirable feature to effectively address the fairness, interpretability, and generalization issues in practice. Existing methods for learning monotonic neural networks either require specifically designed model structures to ensure monotonicity, which can be too restrictive/complicated, or enforce monotonicity by adjusting the learning process, which cannot provably guarantee the learned model is monotonic on selected features. In this work, we propose to certify the monotonicity of the general piece-wise linear neural networks by solving a mixed integer linear programming problem.This provides a new general approach for learning monotonic neural networks with arbitrary model structures. Our method allows us to train neural networks with heuristic monotonicity regularizations, and we can gradually increase the regularization magnitude until the learned network is certified monotonic. Compared to prior works, our approach does not require human-designed constraints on the weight space and also yields more accurate approximation. Empirical studies on various datasets demonstrate the efficiency of our approach over the state-of-the-art methods, such as Deep Lattice Networks.

研究の動機と目的

• 公平性、解釈性、一般化のために機械学習モデルにおける単調性の必要性を動機づける。
• ReLU などのピースワイズ線形ニューラルネットワークの単調性を検証ベースのアプローチで認証する。
• 認証が達成されるまで正則化を通じて単調性を徐々に強制する学習アルゴリズムを開発する。
• 検証を実行可能に保つために層ごとの分解を通じてより深いネットワークへ手法を拡張する。
• 既存の単調性手法と比べて精度、解釈性、頑健性の empirical gains を示す。

提案手法

• ピースワイス線形活性化（ReLU）を用いて単調性検証をMILPとして定式化する。
• ReLU の挙動を捉えるMILP制約を用いて最大化問題を解くことで点での個別の単調性を認証する。
• 勾配を最適化してグローバルな単調性を検証し、指示条件を MILP 制約に翻訳する。
• 単調性正則化 R(f) を用いて学習し、単調特徴上の負の偏導関数を罰し、認証まで罰則を徐々に増やす（Step 1 と Step 2）。
• 深いネットワークへ拡張するには二層ブロックに分解し、各ブロックごとに単調性を課し、層ごとの正則化 Ṙ̃(f) を適用する。
• 市販の MILP ソルバー（例：Gurobi）を活用し、検証時間とスケーラビリティの漸近的洞察を提供する。

実験結果

リサーチクエスチョン

• RQ1 任意のニューラルネットワーク（設計アーキテクチャに制限なし）が入力のサブセットに対して単調性を認証できるか？
• RQ2 ReLU ネットワークの入力全体領域にわたる単調性をグローバルに検証するにはどうするか？
• RQ3 単調性正則化と MILP 検証を交互に行う訓練 regime は単調性と精度を両立したモデルを生み出すか？
• RQ4 深層ネットワークの層ごとの分解は現実的で効果的な単調性の検証方法か？
• RQ5 既存手法と比較して、認証された単調ネットワークの実証的利益（精度、パラメータ効率、解釈性、頑健性）は何か？

主な発見

• 提案された MILP ベースの検証は、ピースワイス線形ネットワークの単調性を認証でき、存在する場合は単調性違反（敵対的例）を検出する。
• 単調性正則化と反復検証を組み合わせた学習は、以前の手法（例：Deep Lattice Network、Min-Max Network）より少ないパラメータでテスト精度を高めた単調ネットワークを生み出す。
• 層状分解により深いネットワークの検証を拡張可能にし、各二層ブロックが単調であることを保証することで実用的な認証を可能にする。
• COMPAS、Blog Feedback、Loan Defaulter、Chest X-Ray などのデータセットでの経験的結果は、方法がしばしばベースラインより精度が高く、時にはパラメータ数を減らすこともある。
• 単調ネットワークは敵対的攻撃への頑健性が向上し、解釈可能な表現を生み出すことがある（例：MNIST の単調性畳み込みネットワーク）。