[論文レビュー] How to Incorporate Monotonicity in Deep Networks While Preserving Flexibility?

Akhil Gupta, Naman Shukla+3 more|arXiv (Cornell University)|Sep 24, 2019

Explainable Artificial Intelligence (XAI)参考文献 14被引用数 27

ひとこと要約

この論文は、訓練中に非単調勾配をペナルティ化することで、深層ニューラルネットワークにおける部分的単調性を強制する、モデルに依存しない勾配ベースのポイントワイズ損失（PWL）関数を提案する。構造的アプローチ（例：ディープラティスネットワーク（DLN））とは異なり、PWLは標準的なDNNの柔軟性を保ちながら、AUCおよび単調性メトリクスにおいて同等またはそれ以上の性能を達成し、アーキテクチャの変更なしに滑らかで個人化された予測曲線を実現する。

ABSTRACT

The importance of domain knowledge in enhancing model performance and making reliable predictions in the real-world is critical. This has led to an increased focus on specific model properties for interpretability. We focus on incorporating monotonic trends, and propose a novel gradient-based point-wise loss function for enforcing partial monotonicity with deep neural networks. While recent developments have relied on structural changes to the model, our approach aims at enhancing the learning process. Our model-agnostic point-wise loss function acts as a plug-in to the standard loss and penalizes non-monotonic gradients. We demonstrate that the point-wise loss produces comparable (and sometimes better) results on both AUC and monotonicity measure, as opposed to state-of-the-art deep lattice networks that guarantee monotonicity. Moreover, it is able to learn differentiated individual trends and produces smoother conditional curves which are important for personalized decisions, while preserving the flexibility of deep networks.

研究の動機と目的

• ネットワークアーキテクチャを変更せずに、ドメイン知識としての単調性を深層ニューラルネットワークに組み込むこと。
• ファイナンスや価格設定のような実世界の応用において、モデルの柔軟性と解釈可能性のトレードオフを解決すること。
• 個々のデータポイントごとに異なる単調トレンドを学習することで、パーソナライズド意思決定を可能にすること。
• 深層学習におけるソフト単調性制約のスケーラブルで透明性があり、設定可能な方法を提供すること。
• 学習ベースの単調性制約が、ディープラティスネットワークのような剛性のある構造依存手法を実際の応用で上回ることを示すこと。

提案手法

• 指定された入力特徴量の方向における非単調勾配をペナルティ化するポイントワイズ損失（PWL）関数を提案する。
• この損失はバックプロパゲーション中に適用され、標準的な経験的リスク損失と組み合わせて、ソフト制約として機能する。
• 有限差分近似を用いて勾配を推定し、特徴量方向における非単調行動を検出し、ペナルティを課す。
• 経験的リスク最小化と単調性制約のバランスを調整するハイパーパrameterを用いて、損失関数を設定可能にする。
• このアプローチはモデルに依存せず、既存の任意の深層ニューラルネットワークにアーキテクチャ変更なしに統合可能である。
• この方法により、データポイント全体にわたる個別化された単調トレンドを学習することで、滑らかな条件付き応答曲線が得られる。

実験結果

リサーチクエスチョン

• RQ1 モデルアーキテクチャを変更せずに、深層ニューラルネットワークにおける単調性を効果的に強制できるか？
• RQ2 構造的アプローチ（例：ディープラティスネットワーク）と比較して、勾配ベースのポイントワイズ損失は、単調性と予測性能の観点でどのように異なるか？
• RQ3 学習可能な損失によるソフト単調性制約は、深層ネットワークの柔軟性とパーソナライズ能力を保持できるか？
• RQ4 提案手法は、個々のデータポイントごとに異なる単調トレンドを学習でき、実世界の応用におけるより良いパーソナライズ化を可能にするか？
• RQ5 高次元で現実世界のデータセットにおいて、単調性制約とモデルの一般化性能のトレードオフはどのようなものか？

主な発見

• UCI Adultデータセットでは、PWLはAUC 0.908および単調性メトリクス 0.856を達成し、わずかに低いAUCと単調性スコアではあるが、DLNよりもパーソナライズドトレンドの差別化性能が優れていた。
• Airline Ancillaryデータセットでは、PWLはAUC 0.722および単調性メトリクス 0.985を達成し、DLNを上回るAUC性能を示しながら、高い単調性スコアを維持していた。
• PWLは連続的な微分を持つ滑らかな条件付き曲線を生成し、DLNの段階的で区分線形な予測と比較して、より優れたパーソナライズ化を実現していた。
• Airline Ancillaryデータセットにおいて、PWLはDLN（7.770×10³秒）よりも著しく高速な学習時間（1.375×10³秒）を達成していた。
• PWLは、教育水準と収入の間の相関係数が0.33であるような非単調な信号を検出できたが、DLNはその剛性ある構造的制約のためこれを無視していた。
• 結果から、PWLによるソフト単調性制約は、硬い構造的制約よりもドメイン知識とデータ駆動型学習のバランスをより良く果たせることを示している。