[論文レビュー] Regularization Learning Networks: Deep Learning for Tabular Datasets

Ira Shavitt, Eran Segal|arXiv (Cornell University)|May 16, 2018

Machine Learning in Healthcare参考文献 16被引用数 23

ひとこと要約

本稿では、特徴量の重要度が著しくばらつきが生じるテーブルデータに適した深層学習フレームワークとして、正則化学習ネットワーク（RLNs）を提案する。各重みに個別の正則化係数を割り当てることで、特徴量の重要度の変動に応じた柔軟な正則化が可能となり、検証データセットを必要とせず、訓練中に独自の反事後損失（Counterfactual Loss）を用いて係数を最適化することで、勾配ブースティングツリー（GBTs）と同等の性能を達成し、非常にスパースかつ解釈可能なモデルを生成する。このアプローチは、従来のDNNよりもテーブルデータにおいて顕著に優れた性能を発揮する。

ABSTRACT

Despite their impressive performance, Deep Neural Networks (DNNs) typically underperform Gradient Boosting Trees (GBTs) on many tabular-dataset learning tasks. We propose that applying a different regularization coefficient to each weight might boost the performance of DNNs by allowing them to make more use of the more relevant inputs. However, this will lead to an intractable number of hyperparameters. Here, we introduce Regularization Learning Networks (RLNs), which overcome this challenge by introducing an efficient hyperparameter tuning scheme which minimizes a new Counterfactual Loss. Our results show that RLNs significantly improve DNNs on tabular datasets, and achieve comparable results to GBTs, with the best performance achieved with an ensemble that combines GBTs and RLNs. RLNs produce extremely sparse networks, eliminating up to 99.8% of the network edges and 82% of the input features, thus providing more interpretable models and reveal the importance that the network assigns to different inputs. RLNs could efficiently learn a single network in datasets that comprise both tabular and unstructured data, such as in the setting of medical imaging accompanied by electronic health records. An open source implementation of RLN can be found at https://github.com/irashavitt/regularization_learning_networks.

研究の動機と目的

• 深層ニューラルネットワーク（DNNs）が、特に入力特徴量の重要度に著しいばらつきが生じるテーブルデータにおいて勾配ブースティングツリー（GBTs）に比べて性能が劣る問題に対処すること。
• テーブルデータのような非分散表現において、各重みに固有の正則化係数を割り当てることでDNNの性能が向上するかを調査すること。
• 数百万個の個別正則化係数をチューニングする際の非現実的な複雑さを回避する、効率的なハイパーパramータチューニング手法の開発。
• 例えば、電子的健康記録（EHR）のようなテーブルデータと、医用画像のような非構造化データを統合して共同学習できる仕組みの構築。
• 意味のある特徴量重要度を反映し、特徴量選択を支援する、スパースで解釈可能なモデルの生成。

提案手法

• 訓練中に正則化係数とネットワーク重みを同時に最適化するための新しい損失関数、反事後損失（$\mathcal{L}_{CF}$）を導入する。
• 正則化係数を対数空間で最適化し、各更新後に射影を適用することで、係数の消失を防ぐ。
• 検証データセットを不要にすることで、バックプロパゲーション中に直接ハイパーパramータチューニングを誘導する反事後損失を活用する。
• ネットワーク内のすべての重みに固有の正則化係数を割り当て、特徴量重要度の変動に応じたモジュラー正則化を可能にする。
• 勾配ベース最適化を用いて、重みと正則化係数を同時に更新するエンドツーエンドの訓練を実施する。
• 訓練終了後にスパースネス制約を適用し、ネットワークのエッジの最大99.8％と入力特徴量の82％を削除することで、解釈性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 入力特徴量の重要度に著しくばらつきが生じるテーブルデータにおいて、各重みに個別の正則化係数を割り当てることでDNNの性能が向上するか？
• RQ2 検証データセットや勾配フリーのハイパーパramータチューニングに依存せずに、数百万個の正則化係数を効率的に最適化することは可能か？
• RQ3 反事後損失は、深層ネットワークにおける重みと正則化係数の効果的な共同最適化をどのように可能にするか？
• RQ4 RLNsは、テーブルデータにおける真の特徴量重要度を反映する、極めてスパースで解釈可能なモデルをどの程度生成できるか？
• RQ5 RLNsは、勾配ブースティングツリー（GBTs）と効果的にアンサンブル化できるか、これによりテーブル予測タスクで最先端の性能を達成できるか？

主な発見

• RLNsは、テーブルデータにおけるDNNの性能を顕著に向上させ、標準DNNと比較して説明平方和を2.75±0.05倍に向上させる。
• RLNsは、特に入力特徴量の重要度に著しいばらつきが生じる状況下で、勾配ブースティングツリー（GBTs）と同等の性能を達成する。
• RLNsとGBTsのアンサンブルは、4つの特徴のうち3つにおいて他のすべてのアンサンブルを上回り、マイクロバイオーム予測タスクにおいては、1つの特徴を除き、すべてのタスクで最先端の結果を達成する。
• RLNsは極めてスパースなネットワークを生成し、訓練の最初の10〜20エポック以内にネットワークエッジの最大99.8％と入力特徴量の82％を削除する。
• RLNsから得られる特徴量重要度のJensen-Shannon距離は、DNNと比較して48%±1%低く、LMと比較して54%±2%低く、一貫性と解釈性が優れていることを示す。
• RLNsにおける特徴量重要度のエントロピーは4.6ビットであるのに対し、DNNでは9.5ビットであり、より意味的で非一様な特徴量重要度の分布を示している。