[論文レビュー] Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach
本稿では、再訓練なしで未観測の特徴に一般化できる、オープンワールド特徴外挿のための新規誘導的グラフ学習フレームワークFATEを提案する。バックボーンニューラルネットワークと特徴-データ二部グラフ上のグラフニューラルネットワーク（GNN）を組み合わせることで、メッセージパッシングを用いて新しい特徴の埋め込みを外挿する。この手法は、表形式および大規模広告データセットにおいて最先端の性能を達成し、一般化性能が向上し、過学習が軽減される。
We target open-world feature extrapolation problem where the feature space of input data goes through expansion and a model trained on partially observed features needs to handle new features in test data without further retraining. The problem is of much significance for dealing with features incrementally collected from different fields. To this end, we propose a new learning paradigm with graph representation and learning. Our framework contains two modules: 1) a backbone network (e.g., feedforward neural nets) as a lower model takes features as input and outputs predicted labels; 2) a graph neural network as an upper model learns to extrapolate embeddings for new features via message passing over a feature-data graph built from observed data. Based on our framework, we design two training strategies, a self-supervised approach and an inductive learning approach, to endow the model with extrapolation ability and alleviate feature-level over-fitting. We also provide theoretical analysis on the generalization error on test data with new features, which dissects the impact of training features and algorithms on generalization performance. Our experiments over several classification datasets and large-scale advertisement click prediction datasets demonstrate that our model can produce effective embeddings for unseen features and significantly outperforms baseline methods that adopt KNN and local aggregation.
研究の動機と目的
- 訓練中に観測されなかった新しい特徴を処理できる必要があるオープンワールド特徴外挿の課題に対処すること。
- 新しい特徴が導入された際に再訓練を必要とする標準的ニューラルネットワークの制限を克服すること。
- グラフベースのメッセージパッシングを用いて、未観測の特徴に一般化可能なスケーラブルな誘導的学習フレームワークを構築すること。
- 新しいサンプリングおよび正則化戦略を導入することで、大規模データセットにおける特徴レベルの過学習を軽減すること。
- 新しい特徴が存在する状況における一般化誤差の理論的分析を行い、モデル性能とサンプリングのランダムネスの関係を明らかにすること。
提案手法
- 2モジュール構造を採用：初期特徴埋め込みのためのバックボーン順方向ネットワークと、誘導的特徴外挿のためのグラフニューラルネットワーク（GNN）の組み合わせ。
- 観測された訓練データから特徴とデータインスタンスの両方がノードとなる特徴-データ二部グラフを構築し、エッジは特徴-インスタンスの関係を符号化する。
- GNNが二部グラフ上でメッセージパッシングを実行し、既知の特徴およびインスタンス表現に基づいて未観測の新しい特徴の埋め込みを誘導的に学習する。
- 2つの訓練戦略を提案：自己教師型学習と、kショットサンプリングまたはnフォールド分割を用いた多様なプロキシ訓練データ作成の誘導的学習。
- 訓練中にエッジをランダムにドロップするDropEdge正則化をグラフに適用し、過学習を防ぐ。
- ミニバッチ最適化によりエンドツーエンドで訓練可能であり、数百万の特徴およびインスタンスを含む大規模データセットへのスケーラビリティを実現する。
実験結果
リサーチクエスチョン
- RQ1機械学習モデルは再訓練なしに、人間の外挿能力を模倣して未学習の新しい特徴に一般化できるか？
- RQ2グラフニューラルネットワークをどのように活用すれば、既存の特徴およびインスタンス関係に基づいて新しい特徴の埋め込みを誘導的に学習できるか？
- RQ3kショットサンプリングとnフォールド分割などの訓練戦略の中で、大規模オープンワールド環境における一般化と耐障害性を最適にバランスさせるのはどれか？
- RQ4サンプリングのランダムネスはモデルの一般化にどのように影響するか？ また、これを理論的に定量化できるか？
- RQ5DropEdge正則化は、オープンワールド特徴外挿において特徴レベルの過学習をどの程度軽減できるか？
主な発見
- FATEはKNNおよび局所的アグリゲーションベースラインを著しく上回り、UCIおよび大規模Criteo/Avazuデータセットの両方でAUCが向上した。
- AvazuおよびCriteoデータセットでは、kショットサンプリングがnフォールド分割を常に上回り、一般化性能が向上し、過学習が軽減された。
- サンプリングサイズ $k$ が増加するにつれて、分散の低減により訓練AUCが向上するが、$k$ が全特徴集合に近づくと性能が頭打ちまたは低下し、特徴レベルの過学習が顕在化する。
- アブレーションスタディの結果、kショットサンプリングとDropEdgeを組み合わせたFATEが最良の性能を示し、CriteoのテストフォールドT8でAUC 0.7744を達成し、エンドツーエンドの共同訓練を上回った。
- 理論的分析により、一般化誤差が特徴サンプリングのランダムネスに依存しており、$k$ が大きくなるとランダムネスが低下し、一般化性能が劣化することが確認された。これは実験結果と整合的である。
- フレームワークは効率的にスケーリング可能である：訓練および推論時間はバッチサイズおよび特徴数に対して劣線形に増加し、大規模データセットでもGPUメモリ使用量は管理可能である。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。