[論文レビュー] Field-wise Learning for Multi-field Categorical Data

Zhibin Li, Jian Zhang+3 more|arXiv (Cornell University)|Dec 1, 2020

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本論文は、多フィールド分類データにおける分野別学習を提案する。各分野内のカテゴリごとに個別の線形モデルを訓練し、分散と低ランク制約を適用することで汎化性能と解釈可能性を向上させる。この手法は、Avazu や Criteo などの大規模データセットで最先端の性能を達成し、対数損失が低く、過パrameter化に対して頑健である。

ABSTRACT

We propose a new method for learning with multi-field categorical data. Multi-field categorical data are usually collected over many heterogeneous groups. These groups can reflect in the categories under a field. The existing methods try to learn a universal model that fits all data, which is challenging and inevitably results in learning a complex model. In contrast, we propose a field-wise learning method leveraging the natural structure of data to learn simple yet efficient one-to-one field-focused models with appropriate constraints. In doing this, the models can be fitted to each category and thus can better capture the underlying differences in data. We present a model that utilizes linear models with variance and low-rank constraints, to help it generalize better and reduce the number of parameters. The model is also interpretable in a field-wise manner. As the dimensionality of multi-field categorical data can be very high, the models applied to such data are mostly over-parameterized. Our theoretical analysis can potentially explain the effect of over-parametrization on the generalization of our model. It also supports the variance constraints in the learning objective. The experiment results on two large-scale datasets show the superior performance of our model, the trend of the generalization error bound, and the interpretability of learning outcomes. Our code is available at https://github.com/lzb5600/Field-wise-Learning.

研究の動機と目的

• 多フィールド分類データにおける高い異質性に起因する、普遍的モデルの学習の難しさに対処すること。
• 高次元かつスパースな分類特徴空間におけるモデルの汎化性能の向上と過学習の低減。
• 各フィールドごとにカテゴリ固有のモデルを学習することで、分野別に解釈可能なモデル解釈を可能にすること。
• 過パrameter化と制約の汎化性能における役割を理論的に裏付けること。
• 複雑な特徴工学を回避するスケーラブルで効率的な学習フレームワークの開発。

提案手法

• 各分野に特化した1対1の線形モデルを訓練し、各分野内のカテゴリごとに個別のモデルを学習する。
• 各分野内の重みベクトルに分散制約を適用し、母平均からの逸脱を防ぐ。
• 各分野の重み行列に低ランク制約を課し、パラメータ数を削減するとともに特徴間の相関を促進する。
• 分散および低ランクペナルティを組み合わせた正則化された目的関数を用いることで、汎化性能を向上させる。
• 理論的分析により、一般化誤差の境界を導出し、分散制約の有効性およびやや過パラメータ化の利点を裏付ける。
• 線形モデルを超えるより複雑なモデルに対しても拡張可能であり、解釈可能性を維持できる。

実験結果

リサーチクエスチョン

• RQ1 カテゴリ固有のモデルを用いた分野別学習は、普遍的モデルと比較して、多フィールド分類データにおける汎化性能を向上させることができるか？
• RQ2 分散および低ランク制約は、高次元かつスパースな設定下でのモデル性能および汎化性能にどのように影響を与えるか？
• RQ3 分野別モデルにおける過パラメータ化は依然としてより良い汎化性能をもたらすのか？その理論的裏付けは可能か？
• RQ4 モデルは分野およびカテゴリレベルで意味のある、解釈可能なインサイトを提供できるか？
• RQ5 大規模データセットにおける学習時間およびパラメータ効率の観点から、モデルのスケーラビリティはどの程度か？

主な発見

• 提案手法は、Avazu および Criteo データセットの両方で、すべてのベースラインと比較して顕著に低い対数損失を達成した。改善幅は少なくとも 0.001 であり、これは有意義であるとされる。
• 相対的に多くのパラメータを有する状況でも、本手法は優れた性能を示した。これは、このフレームワークにおいて過パラメータ化が有益であることを示唆している。
• 一般化誤差境界は、パラメータ数の増加に伴い初期的に低下し、その後増加する傾向を示した。これは、やや過パラメータ化の利点を支持する。
• 分野別解釈により、カテゴリ固有モデル重みの分散が大きい分野（例：Country）は、より明確に区別されるデータグループを表しており、ターゲット分析が可能であることが明らかになった。
• 高速な収束と効率的な学習が達成され、両方の大規模データセットで 2～3 時間で学習が完了した。
• 分散および低ランク制約は、実験的および理論的に裏付けられ、汎化性能の向上とモデル複雑度の低減に寄与した。