[論文レビュー] Enabling Cognitive Intelligence Queries in Relational Databases using Low-dimensional Word Embeddings

Rajesh Bordawekar, Oded Shmueli|arXiv (Cornell University)|Mar 23, 2016

Topic Modeling参考文献 28被引用数 11

ひとこと要約

本論文では、語の分散表現（word2vec）を用いて、データベースのトークン（例：列名、行値）を低次元のベクトル空間に埋め込むことで、関係データベースの意味的類似性および類推ベースの照会を可能にする認知的インテリジェンス（CI）照会を導入する。この手法により、ユーザー定義関数（UDF）を介してSQLベースの照会が意味的関係に基づいて可能となり、構文的マッチングをはるかに超えた照問の表現力を大幅に拡張する。

ABSTRACT

We apply distributed language embedding methods from Natural Language Processing to assign a vector to each database entity associated token (for example, a token may be a word occurring in a table row, or the name of a column). These vectors, of typical dimension 200, capture the meaning of tokens based on the contexts in which the tokens appear together. To form vectors, we apply a learning method to a token sequence derived from the database. We describe various techniques for extracting token sequences from a database. The techniques differ in complexity, in the token sequences they output and in the database information used (e.g., foreign keys). The vectors can be used to algebraically quantify semantic relationships between the tokens such as similarities and analogies. Vectors enable a dual view of the data: relational and (meaningful rather than purely syntactical) text. We introduce and explore a new class of queries called cognitive intelligence (CI) queries that extract information from the database based, in part, on the relationships encoded by vectors. We have implemented a prototype system on top of Spark to exhibit the power of CI queries. Here, CI queries are realized via SQL UDFs. This power goes far beyond text extensions to relational systems due to the information encoded in vectors. We also consider various extensions to the basic scheme, including using a collection of views derived from the database to focus on a domain of interest, utilizing vectors and/or text from external sources, maintaining vectors as the database evolves and exploring a database without utilizing its schema. For the latter, we consider minimal extensions to SQL to vastly improve query expressiveness.

研究の動機と目的

• データベースエンティティの意味を分散語の表現によって捉えることで、関係データベースにおける意味的照問を可能にすること。
• 従来のSQLがデータベースエンティティ間の意味的関係を表現できないという限界を解決すること。
• 構文的マッチングを超えて、意味的類似性および類推的推論を含めたデータベース照問機能を拡張すること。
• 既存の関係データベースシステムに学習済みのベクトル表現を統合するスケーラブルで拡張可能なフレームワークを設計すること。
• Sparkベースのプロトタイプを用いて、CI照問の実現可能性と表現力の高さを示すこと。

提案手法

• ビューまたはスキーマに依存する手法を用いて、データベーステーブルからテキスト化によりトークン列を抽出し、学習用に文脈豊かなテキストを生成する。
• 分散型word2vecを適用し、内部または外部のテキストから、低次元（例：200次元）のデータベーストークンのベクトル表現を学習する。
• 照問実行時の効率的な照会を可能にするために、学習済みのベクトルをシステムテーブルに格納する。
• 意味的類似性および類推照問を、proximityMAX()、proximityAVG()、proximityTop2Avg()などのSQLユーザー定義関数（UDF）を用いて実装する。
• ベクトルの再利用とインクリメンタルな更新をサポートし、データベースの変更に伴う意味的整合性を維持する。
• Wikipediaなどの外部テキストソースやドメイン固有のビューをフレームワークに統合し、埋め込みの精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 低次元の語の分散表現は、列名や行値などのデータベースエンティティ間の意味的関係を効果的に捉えることができるか？
• RQ2 ベクトルベースの意味的類似度は、標準SQLにどのように統合され、認知的照問が可能になるか？
• RQ3 特に学習、ストレージ、実行時距離計算の観点から、ベクトルベースの照問の性能への影響は何か？
• RQ4 複雑なデータベース探索において、スキーマ知識の必要性をCI照問はどの程度低減できるか？
• RQ5 変化する基盤データベースに伴い、ベクトル埋め込みを効率的に維持・更新する方法は何か？

主な発見

• データベース由来のテキスト列にword2vecを適用することで、データベーストークン間の意味的関係を符号化する意味のある低次元ベクトルを効果的に生成できた。
• proximityMAX() や proximityAVG() などのUDFを用いたCI照問により、意味的類似度検索が有効に実行可能であり、距離閾値（例：0.3 または 0.2）や近接関数の選択に敏感な結果が得られた。
• Apache Sparkを用いたプロトタイプ実装により、ベクトルベースの意味的照問を既存の関係データベースシステムに統合する可能性が実証された。
• ベクトルベースの照問は照問の表現力を顕著に向上させ、スキーマ知識を最小限に抑えて大規模データベースを探索可能にした。
• ベクトル学習および距離計算に性能ボトルネックが存在するが、バッチ処理、インデックス化、GPUアクセcelerationにより緩和可能である。
• 外部テキストソースやドメイン固有のビューを用いた拡張性により、埋め込みの品質と関連性が向上する。