[論文レビュー] Neural Feature Learning From Relational Database

Hoang Thanh Lam, Tran Ngoc Minh+3 more|arXiv (Cornell University)|Jan 16, 2018

Machine Learning and Data Classification参考文献 18被引用数 10

ひとこと要約

本論文は、教師あり学習により最適な特徴変換を学習することで、リレーショナルデータベースの特徴工学を自動化する新しい深層ニューラルネットワークアーキテクチャR2Nを提案する。R2Nは4つのKaggleコンペティションにおいて、最先端のルールベース手法を上回り、最小限の手作業で上位6–10％の性能を達成した。また、特徴生成問題がNP困難であることを証明し、ネットワークの表現能力を分析することで理論的基盤を確立した。

ABSTRACT

Feature engineering is one of the most important but most tedious tasks in data science. This work studies automation of feature learning from relational database. We first prove theoretically that finding the optimal features from relational data for predictive tasks is NP-hard. We propose an efficient rule-based approach based on heuristics and a deep neural network to automatically learn appropriate features from relational data. We benchmark our approaches in ensembles in past Kaggle competitions. Our new approach wins late medals and beats the state-of-the-art solutions with significant margins. To the best of our knowledge, this is the first time an automated data science system could win medals in Kaggle competitions with complex relational database.

研究の動機と目的

• データサイエンティストにおける手作業で時間がかかる特徴工学の重大なボトル neck を解消すること。特にリレーショナルデータベースに特化して。
• ルールベースの特徴工学の限界、例えば重複や問題固有のニーズへの適応性の欠如を克服すること。
• リレーショナルデータから直接意味のある特徴変換を学習する教師ありエンドツーエンドのニューラルネットワーク手法を開発すること。
• リレーショナルデータベースにおける特徴学習の表現力と複雑性について理論的保証を提供すること。
• 特徴工学におけるエキスパート知識への依存を低減することで、データサイエンティストの民主化を実現すること。

提案手法

• 複数テーブルの結合を表現するためのリレーショナルツリー表現を用い、各訓練例を外部キー関係に基づいてツリー構造に変換する。
• 新規の深層ニューラルネットワークアーキテクチャ、R2N（リレーショナル・ツー・ベクトル・ネットワーク）が、これらのリレーショナルツリーを処理し、コンactで意味のある特徴表現を学習する。
• ツリー構造データに対して階層的な変換を適用し、各層が結合されたリレーショナルパスのより抽象的な表現を捉える。
• 最終層では全結合ネットワークを用いて、下流の機械学習モデルに適した固定サイズの特徴ベクトルを出力する。
• 特にデータ量が少ない状況でもモデルの頑健性と一般化性能を向上させるために、ブートストラップ技術を適用する。
• 目的ラベルの予測性能を最適化する教師ありのエンドツーエンド学習により、アプローチを訓練する。

実験結果

リサーチクエスチョン

• RQ1 手作業によるルール依存なしに、深層ニューラルネットワークがリレーショナルデータベースから有用な特徴を効果的に学習できるか？
• RQ2 提案されたR2Nアーキテクチャは、複数テーブルのリレーショナルデータにおける複雑で非線形な関係を捉えることができるか？
• RQ3 実世界のデータサイエンスコンペティションにおいて、R2Nの性能はDFSのような最先端のルールベース特徴工学システムと比べてどうか？
• RQ4 リレーショナルデータベースにおける特徴学習問題の計算複雑度は何か？そして、形式的に特徴づけられるか？
• RQ5 理論的解析により、提案されたニューラルアーキテクチャがリレーショナル特徴学習において普遍的な表現力を有していることを示せるか？

主な発見

• R2Nは4つのKaggleコンペティションにおいて、最先端のルールベース特徴工学システムDFSを上回り、3つのコンペティションで全参加者の中でも上位6–10％の成績を達成した。
• 最小限のデータ準備作業で競争的な性能を達成でき、通常のKaggleコンペティションが数か月にわたるのに対し、週単位で完了した。
• リレーショナルデータベースの特徴生成問題が正式にNP困難であることが証明され、このタスクの難易度に対する理論的基盤が確立された。
• R2Nアーキテクチャは強力な表現能力を示し、リレーショナルツリー構造から複雑で非線形な変換を学習できる。
• ブートストラップの使用により、モデルの頑健性が著しく向上し、単一のR2Nモデルを上回り、一般化性能が向上した。
• 提案手法により、自動的でスケーラブルかつドメインに依存しない特徴工学が可能になり、エキスパート知識への依存が軽減され、データサイエンスワークフローの高速化が実現された。