[論文レビュー] Merging datasets through deep learning

Kavitha Srinivas, Abraham Gale+1 more|arXiv (Cornell University)|Sep 5, 2018

Face recognition and analysis参考文献 19被引用数 6

ひとこと要約

本論文では、深層学習を用いて、同じ意味的実体名（例：'Douglas Adams' と 'Adams, Douglas'）をベクトル空間内で近接するように埋め込むことで、データセットの統合を実現する手法を提案する。近似的な最近傍インデックスと、独創的なハードネガティブな三つ組みマイニング戦略を用いることで、人物データでは81%、企業データでは75%のprecision@1を達成し、ハードネガティブが支配的なデータセットにおいて、半ハードネガティブマイニングを著しく上回る性能を発揮した。

ABSTRACT

Merging datasets is a key operation for data analytics. A frequent requirement for merging is joining across columns that have different surface forms for the same entity (e.g., the name of a person might be represented as "Douglas Adams" or "Adams, Douglas"). Similarly, ontology alignment can require recognizing distinct surface forms of the same entity, especially when ontologies are independently developed. However, data management systems are currently limited to performing merges based on string equality, or at best using string similarity. We propose an approach to performing merges based on deep learning models. Our approach depends on (a) creating a deep learning model that maps surface forms of an entity into a set of vectors such that alternate forms for the same entity are closest in vector space, (b) indexing these vectors using a nearest neighbors algorithm to find the forms that can be potentially joined together. To build these models, we had to adapt techniques from metric learning due to the characteristics of the data; specifically we describe novel sample selection techniques and loss functions that work for this problem. To evaluate our approach, we used Wikidata as ground truth and built models from datasets with approximately 1.1M people's names (200K identities) and 130K company names (70K identities). We developed models that allow for joins with precision@1 of .75-.81 and recall of .74-.81. We make the models available for aligning people or companies across multiple datasets.

研究の動機と目的

• 異なるデータソースで異なる表記形（例：名前、企業名）で表現される同一実体を統合する課題に対処すること。
• データ管理システムにおける従来の文字列の等価性や類似性によるジョイン手法の限界を克服すること。
• 学習されたベクトル埋め込みを用いて、スケーラブルかつ一般化可能な方法で、複数のデータセット間の実体を結合すること。
• 名前照合のための深層メトリクス学習において、ハードネガティブ三つ組みマイニングと半ハードネガティブマイニングの有効性を評価すること。
• 事前学習済みモデルを用いて、顔など他の実体タイプに対しても本アプローチの汎用性を示すこと。

提案手法

• 同一実体の表記形がベクトル空間で近接し、異なる実体の表記形が遠く離れるように、実体名を埋め込むためのシアンプス三つ組みネットワークを訓練する。
• ジョイン処理中に候補マッチを効率的に取得するために、近似的な最近傍（ANN）インデックスを活用する。
• ハードネガティブを最近傍集合から選択する、独創的な三つ組みマイニング戦略を実装し、ハードネガティブが多数を占めるデータセットにおける学習を向上させる。
• 修正された三つ組み損失を含む、複数の損失関数を適応・比較し、埋め込み品質を最適化する。
• 人物および企業名のトレーニングおよび評価データセットを構築するために、Wikidataを正例として活用する。
• 事前学習済み埋め込みを用いて、顔認識データセットに訓練済みモデルを適用することで一般化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ハードネガティブが支配的な名前照合タスクにおいて、ハードネガティブマイニングを用いた深層メトリクス学習が、半ハードネガティブマイニングを上回るか？
• RQ2 提案されたベクトル埋め込みアプローチは、実体タイプを問わず、データセット統合において高精度・高再現率を達成できるか？
• RQ3 人物（例：人物）で訓練されたモデルが、他のタイプ（例：企業、顔）へどの程度一般化できるか？
• RQ4 近似的な最近傍インデックスの使用により、大規模なデータ統合におけるスケーラブルかつ効率的なジョインが可能になるか？
• RQ5 異なる損失関数は、実体名照合のための埋め込みモデルの性能にどのように影響を与えるか？

主な発見

• 提案されたハードネガティブマイニング戦略は、人物データセットでprecision@1が81%、再現率が81%を達成し、半ハードネガティブマイニング（precision@1: 61%、再現率: 63%）を著しく上回った。
• 企業名のタスクでは、precision@1が75%、再現率が74%を達成し、比較的単純なデータセットでも優れた性能を示した。
• 人物の再現率が3%から81%へ、企業の再現率が16%から74%へ向上したため、意味的類似性の学習が効果的に行われた。
• 人物のprecision@1が10%から81%へ、企業のprecision@1が26%から75%へ向上したため、トレーニング後には最近傍が真のマッチである可能性が極めて高くなった。
• 顔認識への一般化性能も良好であった：VGGFace2では95%のprecision@1、91%の再現率、CasiaWebFaceでは93%のprecision@1、87%の再現率を達成した。
• 本研究では、ハードネガティブが多数を占めるデータセットにおいて、ハードネガティブマイニングが有益であることが確認された。半ハードネガティブマイニングは性能が劣ることがわかった。