[論文レビュー] Monotonic Trends in Deep Neural Networks

Akhil Gupta, Naman Shukla+2 more|arXiv (Cornell University)|Sep 24, 2019

Machine Learning and Data Classification参考文献 13被引用数 5

ひとこと要約

本論文は、アーキテクチャの変更なしに、深層ニューラルネットワークにおける部分的単調性を強制する勾配ベースのポイントワイズ損失関数を提案する。訓練中に非単調な勾配をペナルティ化することで、最先端のラティスネットワークと同等またはそれ以上のAUCおよび単調性性能を達成するとともに、滑らかで個人化されたトレンド学習を可能にし、深層ネットワークの柔軟性を維持する。

ABSTRACT

The importance of domain knowledge in enhancing model performance and making reliable predictions in the real-world is unparalleled. We focus on incorporating monotonic trends (increase in input implies increase/decrease in output), and propose a novel gradient-based point-wise loss function for enforcing partial monotonicity with deep neural networks. While recent developments have focused on structural changes to the model, our approach aims at enhancing the learning process. Our point-wise loss function acts as a plug-in to the standard loss and penalizes non-monotonic gradients. We demonstrate that the point-wise loss produces comparable (and sometimes better) results with respect to both AUC and monotonicity metric, compared to state-of-the-art deep lattice networks that enforce monotonicity. Moreover, it is able to learn customized individual trends and produces smoother conditional curves - important for personalized decisions, while preserving the flexibility of deep networks.

研究の動機と目的

• 現実世界の信頼性を高めるために、入力が増加すると出力も増加または減少するという単調トレンドを深層学習モデルに組み込む課題に対処すること。
• ネットワークアーキテクチャの変更なしに、訓練時における部分的単調性を強制する手法を開発すること。
• モデルの柔軟性を保ちながら、カスタマイズ可能で滑らかな条件付き曲線を学習し、パーソナライズド意思決定を可能にすること。
• AUCおよび単調性メトリクスにおいて、最先端の深層ラティスネットワークと同等またはそれを上回ること。

提案手法

• 訓練プロセス中に非単調な勾配をペナルティ化する、新規のポイントワイズ損失関数を提案する。
• 標準的な訓練目的関数にプラグインとして統合可能であり、アーキテクチャの変更を要しない。
• 各訓練サンプルについて、入出力の単調性制約に基づいて勾配ベースのペナルティを計算する。
• バックプロパゲーション中にこの損失を適用し、学習された表現における非単調な挙動を抑制する。
• 個別特徴または個別サンプルの単調性制約を許容することで、個別化された単調トレンドを可能にする。
• 単調性の向上を図りつつ、深層ネットワークの表現力も維持する。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャの変更なしに、訓練時損失関数が深層ニューラルネットワークにおける部分的単調性を効果的に強制できるか？
• RQ2 提案手法は、最先端の深層ラティスネットワークと比較して、AUCおよび単調性メトリクスにおいてどのように性能を発揮するか？
• RQ3 本手法は、パーソナライズドな予測に適したカスタマイズ可能で滑らかな条件付きトレンドを学習できるか？
• RQ4 本手法は、単調性の向上を図りながらも、深層ネットワークの柔軟性を維持できるか？

主な発見

• 提案手法は、最先端の深層ラティスネットワークと同等またはそれ以上のAUC性能を達成した。
• 単調性メトリクスにおいても、深層ラティスネットワークを上回るか同等の性能を示し、ユーザー指定のトレンドへの適合性が強いことが示された。
• 本手法は、カスタマイズ可能な個別トレンドを効果的に学習でき、パーソナライズド意思決定を可能にした。
• ベースラインモデルと比較して、滑らかな条件付き曲線を生成したため、解釈性と信頼性が向上した。
• 単調性制約を強制しながらも、深層ニューラルネットワークの完全な柔軟性を維持した。
• 損失関数のプラグイン性のおかげで、アーキテクチャの再設計なしに既存の訓練パイプラインへの容易な統合が可能となった。