[論文レビュー] DNN2LR: Interpretation-inspired Feature Crossing for Real-world Tabular Data

Zhaocheng Liu, Qiang Liu+2 more|arXiv (Cornell University)|Aug 22, 2020

Video Analysis and Summarization参考文献 67被引用数 4

ひとこと要約

DNN2LR は、深層ニューラルネットワーク（DNN）における解釈の不一致を活用することで、ロジスティック回帰（LR）用のグローバルに解釈可能なクロス特徴量を自動的に生成する新規手法を提案する。隠れ層の相互作用によって引き起こされる局所的解釈の不一致を持つ特徴量を特定することで、コンactなクロス特徴量の候補集合を構築し、シンプルなLRモデルが、実世界のテーブルデータセットにおいて、複雑なDNNや最先端の特徴量クロス手法を上回る性能を発揮しつつ、高い効率性を実現する。

ABSTRACT

For sake of reliability, it is necessary for models in real-world applications to be both powerful and globally interpretable. Simple classifiers, e.g., Logistic Regression (LR), are globally interpretable, but not powerful enough to model complex nonlinear interactions among features in tabular data. Meanwhile, Deep Neural Networks (DNNs) have shown great effectiveness for modeling tabular data, but is not globally interpretable. In this work, we find local piece-wise interpretations in DNN of a specific feature are usually inconsistent in different samples, which is caused by feature interactions in the hidden layers. Accordingly, we can design an automatic feature crossing method to find feature interactions in DNN, and use them as cross features in LR. We give definition of the interpretation inconsistency in DNN, based on which a novel feature crossing method called DNN2LR is proposed. Extensive experiments have been conducted on four public datasets and two real-world datasets. The final model, i.e., a LR model empowered with cross features, generated by DNN2LR can outperform the complex DNN model, as well as several state-of-the-art feature crossing methods. The experimental results strongly verify the effectiveness and efficiency of DNN2LR, especially on real-world datasets with large numbers of feature fields.

研究の動機と目的

• 実世界のテーブルデータ応用におけるモデル性能とグローバルな解釈可能性のトレードオフを解決すること。
• 手動の特徴量設計なしに、ロジスティック回帰（LR）が複雑な非線形特徴量相互作用を捉えることの限界を克服すること。
• 解釈可能性を保ちつつ DNN 水準の性能を達成する、効率的で自動的な特徴量クロス手法を開発すること。
• DNN における解釈の不一致を、意味のある特徴量相互作用を同定する信号として同定・活用すること。
• 効果的で効率的なモデル学習を可能にする、コンactで高品質なクロス特徴量候補集合の生成を目的とする。

提案手法

• 隠れ層の特徴量相互作用によって引き起こされる、入力サンプルごとの局所的勾配ベースの解釈の変動として、DNN における解釈の不一致を定義する。
• 複雑な特徴量相互作用を学習するため、全訓練セット上で DNN を訓練し、勾配ベースの感度マップを用いて局所的解釈を抽出する。
• 各バリデーションサンプルに対して、勾配の分散を用いて各特徴量の解釈の不一致スコアを計算する。
• 高い不一致（分位数閾値 η より上）を持つ特徴量をフィルタリングし、特徴量クロスの候補を特定する。
• フィルタリングされた特徴量から、2次以上の中間特徴量フィールドのグローバルな候補集合を構築するが、効率性を確保するため ε = 3N または 5N に制限する。
• 候補集合上でロジスティック回帰モデルを訓練し、バリデーションセットでの寄与度に基づいてクロス特徴量をランク付けし、最終的な有用なクロス特徴量のセットを選択する。

実験結果

リサーチクエスチョン

• RQ1 DNN における解釈の不一致は、クロス特徴量生成のための意味のある特徴量相互作用を同定する信頼できる信号として利用可能か？
• RQ2 実世界のデータセットにおいて、DNN2LR は AutoCross や AutoFM といった最先端の特徴量クロス手法と比較して、性能と効率性の面でどのように差をつけるか？
• RQ3 分位数閾値 η や候補集合サイズ ε といったハイパーパramータが、DNN2LR の性能と頑健性に与える影響は何か？
• RQ4 DNN2LR が生成したクロス特徴量を活用したシンプルな LR モデルは、精度と一般化性能の面で、複雑な DNN モデルを上回ることができるか？
• RQ5 特に実世界の応用において、多数の特徴量フィールドを有するデータセットに対して、DNN2LR はスケーラブルか？

主な発見

• DNN2LR が生成したクロス特徴量により、シンプルなロジスティック回帰モデルが、4つの公開データセットおよび2つの実世界データセットにおいて、すべてのケースで複雑なDNNモデルを上回る性能を示し、優れた一般化性能と性能を実証した。
• 特徴量フィールド数が多い実世界データセットでは、AutoCross や AutoFM よりも実行時間を 6× から 50× まで短縮し、高い効率性を示した。
• ハイパーパramータの設定にかかわらず安定した性能を達成しており、特に η = 5% および ε = 3N（小規模データセットでは 5N）の設定で頑健で、感度が低いことが示された。
• 最終モデルは候補クロス特徴量をたった 3N から 5N のみに限定しており、全組み合わせ空間に比べて著しく少ないセットにまで圧縮されており、本手法の効率性とスケーラビリティを裏付けた。
• 2次クロス特徴量が高次特徴量よりも多く見られたが、高次特徴量も性能向上に寄与しており、相互作用の重要性に階層があることを示唆した。
• 9つの特徴量しか持たない Employee データセットにおいても、ε = 5N の設定で相対的な性能向上が見られ、低次元設定でも適応可能であることを示した。