[論文レビュー] Deep Lattice Networks and Partial Monotonic Functions

Seungil You, Xin Ding+3 more|arXiv (Cornell University)|Sep 19, 2017

Neural Networks and Applications参考文献 13被引用数 56

ひとこと要約

この論文は、Deep Lattice Networks (DLNs) を紹介します。これは、ユーザーが選択した入力のサブセットに対する単調性を、線形埋め込み、キャリブレータ、ラティスのアンサンブルを積み重ね、単調性制約付きでエンドツーエンドに学習させることで実現し、分類と回帰タスクで高性能を達成します。

ABSTRACT

We propose learning deep models that are monotonic with respect to a user-specified set of inputs by alternating layers of linear embeddings, ensembles of lattices, and calibrators (piecewise linear functions), with appropriate constraints for monotonicity, and jointly training the resulting network. We implement the layers and projections with new computational graph nodes in TensorFlow and use the ADAM optimizer and batched stochastic gradients. Experiments on benchmark and real-world datasets show that six-layer monotonic deep lattice networks achieve state-of-the art performance for classification and regression with monotonicity guarantees.

研究の動機と目的

• 入力のサブセットに対して単調性の保証を持つ柔軟な部分的単調関数を学習することを目指す。
• エンドツーエンドの単調挙動を可能にする三つの層タイプを組み合わせたディープアーキテクチャを提案する。
• 制約付きの識別的学習を可能にし、スケーラブルな学習のための TensorFlow 実装を提供する。
• DLN 関数クラスの理論的特性と普遍性の側面を探る。

提案手法

• Three-layer DLN コンポーネント: 単調性制約を持つ線形埋め込み、1D キャリブレータ（階段状線形）、および多次元ラティスのアンサンブル。
• 単調性制約は、各勾配ステップの後にパラメータに対して線形不等式射影を用いて強制される。
• ラティスは多重線形補間または単体補間されたルックアップテーブルであり、キャリブレータは単一入力を [0,1] に写像し、単調性のキーポイント制約を持つ。
• 入力が単調である場合、層間で単調性を伝播させることでエンドツーエンドの単調性を保持する。
• トレーニングはバッチ処理の確率的勾配法 Adam を使用; 射影（アイソトニック回帰）は制約を課す; ラティスは O(S 2^S) の制約を用い、ADMM様の手法で解く。
• 初期化戦略は最適化を促進し、単調性を満たすようにパラメータをバイアス付けする。

実験結果

リサーチクエスチョン

• RQ1 キャリブレータ、線形埋め込み、およびラティスアンサンブルの深いスタックは、選択された入力に対して単調性を保証しつつ、柔軟な部分的単調関数を学習できるか？
• RQ2 これらの層の組み合わせは、従来の単調モデル（例: キャリブレータ-ラティス）と比較して、実世界データセット上で精度とスケーラビリティにおいてどうか？
• RQ3 DLN の多重線形対数補間のラティスにおける普遍性/表現性など、理論的特性は？
• RQ4 キャリブレーションと埋め込みの選択は、エンドツーエンドの単調性とモデル解釈性にどう影響するか？

主な発見

• DLNsは、分類・回帰のベンチマーク全般において、単調性タスクで競争力のあるまたは最先端の性能を達成する。
• User Intent ケーススタディでは、最良の DLN アーキテクチャ（Cal-Lin-Cal-EnsLat-Cal-Lin）は、検証精度 74.39%、テスト精度 72.48%、パラメータ数 27,903 を達成。
• Adult ベンチマークでは、Cal-Lin-Cal-EnsLat-Cal-Lin を用いた DLN が検証精度 86.50%、テスト精度 86.08%（40,549 パラメータ）を達成。
• Rater Score 回帰タスクでは、DLN は検証 MSE 1.2078、テスト MSE 1.2096（81,601 パラメータ）を達成。
• crystals および min-max ネットワークと比較して、DLNs は単調性制約を維持しつつ、優れたまたは競争力のある性能を示す。
• このアーキテクチャはエンドツーエンドの部分的単調性を支持し、入力が単調に制約されている場合に組み合わせられた層を通じて単調性を保持する。