[論文レビュー] Event sequence metric learning.

Dmitrii Babaev, Ivan Kireev+4 more|arXiv (Cornell University)|Feb 19, 2020

Domain Adaptation and Few-Shot Learning参考文献 39被引用数 8

ひとこと要約

本論文では、生の取引データから生成された部分列を用いて、ユーザー行動イベント列のコンパクトで判別力のあるベクトル埋め込みを学習する自己教師ありメトリック学習手法を提案する。この手法は、下流の分類タスクにおいて既存手法を上回る性能を発揮するとともに、低次元表現によってユーザーのプライバシーを強化する。

ABSTRACT

In this paper we consider a challenging problem of learning discriminative vector representations for event sequences generated by real-world users. Vector representations map behavioral client raw data to the low-dimensional fixed-length vectors in the latent space. We propose a novel method of learning those vector embeddings based on metric learning approach. We propose a strategy of raw data subsequences generation to apply a metric learning approach in a fully self-supervised way. We evaluated the method over several public bank transactions datasets and showed that self-supervised embeddings outperform other methods when applied to downstream classification tasks. Moreover, embeddings are compact and provide additional user privacy protection.

研究の動機と目的

• 現実世界のユーザーイベント列に対する判別力のあるベクトル表現を学ぶという課題に対処する。
• 教師ありデータに依存しない完全な自己教師あり手法を構築し、埋め込みの学習に向けたラベルなしデータを活用する。
• 低次元で固定長のベクトル表現を用いることで、下流の分類タスクのパフォーマンスを向上させる。
• 生の行動データを露呈しないコンパクトな埋め込みを生成することで、ユーザーのプライバシーを強化する。
• 手動アノテーションなしで生取引ログから効果的な表現学習を可能にする。

提案手法

• ユーザーイベント列から生データの部分列を生成し、メトリック学習のための訓練サンプルを構築する。
• 類似した部分列間の意味的類似性を保持する埋め込みを学習するためのメトリック学習フレームワークを適用する。
• 外部ラベルなしで部分列の構造から学習する自己教師あり戦略を用いる。
• 意味的に類似したイベント列が潜在的ベクトル空間内で近くなるように、埋め込み空間を最適化する。
• 生成された部分列上でコントラスト損失や類似するメトリック学習目的関数を用いて、モデルをエンドツーエンドで訓練する。
• 最終的な埋め込みが低次元かつ固定長であることを保証し、効率的な下流用途を実現する。

実験結果

リサーチクエスチョン

• RQ1 教師なしデータで自己教師ありメトリック学習が、ユーザーイベント列に対して効果的に判別力のある表現を学習できるか？
• RQ2 既存の教師なしまたは教師ありベースラインと比較して、学習された埋め込みは下流の分類タスクでどの程度の性能を発揮するか？
• RQ3 分類用途における有用性を維持しつつ、埋め込みはどの程度のプライバシー保護を提供できるか？
• RQ4 部分列生成戦略が、学習された表現の質にどのように影響するか？
• RQ5 現実の取引データにおいて、埋め込みのコンパクトさとパフォーマンスのトレードオフはどのようなものか？

主な発見

• 提案手法である自己教師ありメトリック学習は、既存の教師なしおよび教師ありベースラインと比較して、下流の分類タスクで優れた性能を達成した。
• 本手法で学習された埋め込みはコンパクトであり、効率的なストレージと推論を可能にするとともに、判別力も維持している。
• 教師ラベルにアクセスできない状況でも強力なパフォーマンスを維持しており、自己教師あり部分列生成戦略の有効性が裏付けられた。
• 低次元かつ固定長の性質から、学習済み表現は内在的なプライバシー保護を提供する。
• 複数の公開済み銀行取引データセットを用いた評価により、さまざまな現実世界のシナリオで一貫した改善が確認された。