[論文レビュー] Deep Distributional Sequence Embeddings Based on a Wasserstein Loss

Ahmed Abdel‐Wahab, Niels Landwehr|arXiv (Cornell University)|Dec 4, 2019

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本稿では、深層特徴の配列全体における分布を捉えるために分位数層を用いたディープ分布的シーケンス埋め込みを提案し、エンド・トゥ・エンドのメトリクス学習に向けた新しいワサーベルシュタインに基づく損失関数を導入している。この手法は、眼動跡、歩行、EEGデータにおけるバイオメトリクス認識タスクにおいて、標準的なベクトル埋め込みや他の距離尺度を上回る性能を発揮する。

ABSTRACT

Deep metric learning employs deep neural networks to embed instances into a metric space such that distances between instances of the same class are small and distances between instances from different classes are large. In most existing deep metric learning techniques, the embedding of an instance is given by a feature vector produced by a deep neural network and Euclidean distance or cosine similarity defines distances between these vectors. In this paper, we study deep distributional embeddings of sequences, where the embedding of a sequence is given by the distribution of learned deep features across the sequence. This has the advantage of capturing statistical information about the distribution of patterns within the sequence in the embedding. When embeddings are distributions rather than vectors, measuring distances between embeddings involves comparing their respective distributions. We propose a distance metric based on Wasserstein distances between the distributions and a corresponding loss function for metric learning, which leads to a novel end-to-end trainable embedding model. We empirically observe that distributional embeddings outperform standard vector embeddings and that training with the proposed Wasserstein metric outperforms training with other distance functions.

研究の動機と目的

• 可変長のシーケンスを対象としたディープメトリクス学習フレームワークを構築すること。
• 学習された特徴の分布的パターンを捉えるために、標準的なベクトル埋め込みの限界を克服し、時間軸にわたる深層特徴の分布としてシーケンスを表現すること。
• 微分可能なワサーベルシュタイン距離に基づく損失関数を用いて、分布的埋め込みのエンド・トゥ・エンド学習を可能にすること。
• 特にオープンセットおよび少数ショット条件下でも、バイオメトリクス識別および検証タスクの性能を向上させること。
• 実世界のバイオメトリクスデータにおいて、分布的埋め込みが標準的なベクトル埋め込みや代替の距離尺度を上回ることを実証すること。

提案手法

• 深層特徴活性化の経験的分位数関数を近似するために分位数層を用い、各シーケンスに対して分布的埋め込みを生成する。
• 各シーケンスを学習済みフィルタ活性化の分位数推定分布の集合として表現することで、時間的パターンの統計的特徴を捉える。
• 埋め込み層を通過する勾配伝播を保証するために、分位数関数の区分的線形近似を採用する。
• 埋め込み空間における距離度量として、活性化空間の下位メトリクスを尊重する分布的埋め込み間のワサーベルシュタイン距離を定義する。
• 微分可能なワサーベルシュタイン距離の閉形式解を、2つの区分的線形分位数関数間の距離に導出し、効率的なバックプロパゲーションを可能にする。
• ワサーベルシュタイン距離に基づく対照的損失を用いて、モデル全体をエンド・トゥ・エンドで学習し、クラス内コンパクト性とクラス間分離性を最適化する。

実験結果

リサーチクエスチョン

• RQ1 分位数推定特徴分布に基づく分布的埋め込みは、ディープメトリクス学習におけるシーケンス表現を向上させることができるか？
• RQ2 分布的埋め込み間の距離度量としてワサーベルシュタイン距離を用いることで、コサイン距離やユークリッド距離といった従来の距離関数よりも優れた一般化性能が得られるか？
• RQ3 可変長シーケンスにおけるバイオメトリクス認識タスクにおいて、本手法は標準的なベクトルベースの埋め込みと比較してどのように性能を発揮するか？
• RQ4 本モデルは、未学習のクラスやインポスターを含むオープンセット認識シナリオにおいて、どの程度一般化できるか？
• RQ5 分位数層とワサーベルシュタイン損失を組み合わせることで、眼動跡、歩行、EEGなど多様なシーケンスデータタイプにおいて一貫した性能向上が得られるか？

主な発見

• 分位数層に基づく分布的埋め込みは、眼動跡、歩行、EEGの3つのデータドメインにおいて、すべての分野で標準的なベクトル埋め込みを顕著に上回る。
• EEGドメインにおいて、n=5のテストシーケンスの場合、提案されたワサーベルシュタインベースの損失（QP-WL）は、次善のベースライン（QP-NPL）と比較して1-AUCを最大80％まで低減した。
• 歩行ドメインでは、QP-WLは、登録被験者数が増加するにつれて、すべてのベースラインと比較して高い識別精度とマルチクラスインポスターに対するロバストネスを達成した。
• データが単純化された場合（例：時間分解能の低下）でも、モデルは強力な性能を維持し、同じ単純化されたデータ上で専用の微小動揺検出モデル（Jager et al., 2019）を上回った。
• マックスプーリングではなく分位数層を用いることで性能が向上し、分類ベースの学習に比べてワサーベルシュタイン損失を用いたメトリクス学習がさらなる性能向上をもたらした。
• モデルは未学習のクラスへの一般化が強く、オープンセットシナリオにおいてもロバストであり、すべてのドメインでインポスター検出において明確な優位性を示した。