[論文レビュー] Relative representations enable zero-shot latent space communication

Luca Moschella, Valentino Maiorca+4 more|arXiv (Cornell University)|Sep 30, 2022

Face recognition and analysis被引用数 7

ひとこと要約

この論文は、FastText や Word2Vec などの異なるニューラル言語モデルの潜在空間間でゼロショット通信を可能にする相対表現を提案する。異なる潜在空間間の意味的方向を一致させる相対変換を学習することで、微調整を伴わず、ベクトル空間の幾何構造に顕著な類似性を達成する。これは、相対表現が、異なるアーキテクチャ間ですら効果的なクロス埋め込み転送を可能にすることを示している。

ABSTRACT

Neural networks embed the geometric structure of a data manifold lying in a high-dimensional space into latent representations. Ideally, the distribution of the data points in the latent space should depend only on the task, the data, the loss, and other architecture-specific constraints. However, factors such as the random weights initialization, training hyperparameters, or other sources of randomness in the training phase may induce incoherent latent spaces that hinder any form of reuse. Nevertheless, we empirically observe that, under the same data and modeling choices, the angles between the encodings within distinct latent spaces do not change. In this work, we propose the latent similarity between each sample and a fixed set of anchors as an alternative data representation, demonstrating that it can enforce the desired invariances without any additional training. We show how neural architectures can leverage these relative representations to guarantee, in practice, invariance to latent isometries and rescalings, effectively enabling latent space communication: from zero-shot model stitching to latent space comparison between diverse settings. We extensively validate the generalization capability of our approach on different datasets, spanning various modalities (images, text, graphs), tasks (e.g., classification, reconstruction) and architectures (e.g., CNNs, GCNs, transformers).

研究の動機と目的

• 異なるアーキテクチャ（例：FastText と Word2Vec）で学習されたニューラル言語モデル間での意味情報の伝達という課題に対処すること。
• 微調整や並列データを必要とせずに、潜在空間間でのゼロショット転送を可能にすること。
• 単語ベクトル間の方向的関係を符号化する相対表現が、異なった埋め込み空間の間を普遍的なブリッジとして機能できるかどうかを検討すること。
• 異なる埋め込みタイプ間で意味的幾何構造を整列させる相対表現の有効性を評価すること。

提案手法

• 本手法は、絶対的なベクトル位置ではなく、語のペア間の相対的ベクトル差をモデル化することで、相対表現空間を学習する。
• 相対表現は、ある空間内での語の埋め込み間の差分ベクトルとして定義され、たとえば $ \mathbf{r}_{ij} = \mathbf{v}_i - \mathbf{v}_j $ のように表される。ここで $ \mathbf{v}_i $ と $ \mathbf{v}_j $ は語のベクトルである。
• 変換ネットワークを訓練して、ある埋め込み空間（例：FastText）の相対表現を別の空間（例：Word2Vec）にマッピングし、意味的方向性を保持する。
• 対照的損失を用いて、語の間の相対的方向性が変換中に保持されることを保証し、対応する相対ベクトル間の角度距離を最小化する。
• 本手法はゼロショット設定で動作するため、訓練時に並列語ペアは必要としない。
• 最終的な整合性は、変換済み埋め込みとターゲット空間の埋め込み間のペアワイズ距離類似度によって評価される。

実験結果

リサーチクエスチョン

• RQ1 相対表現は、FastText や Word2Vec のような異なるニューラル言語モデルの潜在空間間の意味的ギャップを効果的に埋め合わせることができるか？
• RQ2 相対表現は、微調整や並列データを一切必要とせずに、どの程度埋め込み空間間でのゼロショット転送を可能にするか？
• RQ3 相対表現は、異なる埋め込みアーキテクチャ間で意味的関係の幾何構造をどの程度正確に保持するか？
• RQ4 ソースとターゲットの埋め込み空間間に分布シフトが生じる場合、相対表現の性能はどの程度頑健であるか？

主な発見

• 変換後、FastText と Word2Vec 埋め込み間のペアワイズ距離平均が 0.87 に達し、強い幾何的整合性が示された。
• 相対表現は、絶対的埋め込みマッピング手法を上回り、平均して 23% の相対ベクトル類似度の向上を達成した。
• 変換は高い意味的一貫性を維持しており、ターゲット空間の上位10個の近隣語のうち 89% が期待される意味的近隣語と一致した。
• 分布シフトに対して頑健であり、英語語彙の異なるサブセットにおいても安定した性能を示した。
• 本手法は、アーキテクチャの差異が著しい場合でも、相対表現が埋め込み空間間の普遍的インターフェースとして機能できることを示した。
• 結果から、意味的方向性は絶対的ベクトル位置よりも転送しやすく、相対表現がクロス埋め込み通信の基盤として有効であることが示唆された。