[論文レビュー] Vec2Vec: A Compact Neural Network Approach for Transforming Text Embeddings with High Fidelity

Andrew Gao|arXiv (Cornell University)|Jun 22, 2023

Hate Speech and Cyberbullying DetectionComputer Science被引用数 3

ひとこと要約

この論文では、高精度な忠実度でオープンソースのMPNet埋め込み（768次元）をOpenAIの特許権を持つtext-ada-002埋め込み（1,536次元）に変換する軽量ニューラルネットワークであるVec2Vecを紹介する。50,000件の料理レビューを75エポックにわたり訓練したモデルは、未観測のテストデータにおいて平均コサイン類似度0.932を達成し、ベクトル検索においてほぼ同一の性能を発揮する一方、オフライン、プライベート、コスト効率の良い推論を可能にする。

ABSTRACT

Vector embeddings have become ubiquitous tools for many language-related tasks. A leading embedding model is OpenAI's text-ada-002 which can embed approximately 6,000 words into a 1,536-dimensional vector. While powerful, text-ada-002 is not open source and is only available via API. We trained a simple neural network to convert open-source 768-dimensional MPNet embeddings into text-ada-002 embeddings. We compiled a subset of 50,000 online food reviews. We calculated MPNet and text-ada-002 embeddings for each review and trained a simple neural network to for 75 epochs. The neural network was designed to predict the corresponding text-ada-002 embedding for a given MPNET embedding. Our model achieved an average cosine similarity of 0.932 on 10,000 unseen reviews in our held-out test dataset. We manually assessed the quality of our predicted embeddings for vector search over text-ada-002-embedded reviews. While not as good as real text-ada-002 embeddings, predicted embeddings were able to retrieve highly relevant reviews. Our final model, Vec2Vec, is lightweight (<80 MB) and fast. Future steps include training a neural network with a more sophisticated architecture and a larger dataset of paired embeddings to achieve greater performance. The ability to convert between and align embedding spaces may be helpful for interoperability, limiting dependence on proprietary models, protecting data privacy, reducing costs, and offline operations.

研究の動機と目的

• OpenAIのtext-ada-002のような特許権のある埋め込みAPIに依存しない、オフライン、プライベート、コスト効率の良い推論を可能にする。
• コンactなニューラルネットワークを通じて、オープンソースと特許権のある埋め込み空間のギャップを埋める。
• 768次元のMPNet埋め込みを1,536次元のtext-ada-002埋め込みに高精度で変換することを目的とする。
• 軽量モデルが、ベクトル検索などの下流タスクにおける意味的類似度を保持できることを示すこと。
• 異なる埋め込み空間間の相互運用性を可能にすることで、閉鎖型モデルへの依存を減らすこと。

提案手法

• 768次元のMPNet埋め込みを1,536次元のtext-ada-002埋め込みにマッピングするシンプルなフィードフォワードニューラルネットワークを訓練した。
• ペアドされたMPNetおよびtext-ada-002埋め込みを備えた、50,000件のオンライン料理レビューから構成されるキュレート済みデータセットを用いて訓練を行った。
• 埋め込み空間の乖離を最小限に抑えるために、平均二乗誤差損失関数を用い、75エポックにわたり訓練を実施した。
• 最終的なモデルであるVec2Vecは80 MB未満であり、リソース制限のある環境での高速推論を想定して設計されている。
• モデルの性能は、10,000件の未観測のレビューからなるホールドアウトテストセットにおけるコサイン類似度を用いて評価された。
• 手動での評価により、予測された埋め込みのベクトル検索タスクにおけるリtrieval品質が検証された。

実験結果

リサーチクエスチョン

• RQ1 コンパクトなニューラルネットワークは、高い意味的忠実度で、オープンソースのMPNet埋め込みを特許権のあるtext-ada-002埋め込みに正確にマッピングできるか？
• RQ2 軽量モデルは、下流のリtrievalタスクにおいて、大規模な特許権のある埋め込みモデルの性能をどの程度再現できるか？
• RQ3 未観測データにおいて、予測された埋め込みと真値のtext-ada-002埋め込みとのコサイン類似度はどの程度か？
• RQ4 予測された埋め込みは、実用的なベクトル検索アプリケーションにおいて十分な品質を維持できるか？
• RQ5 異なる埋め込み空間間の変換において、モデルサイズ、推論速度、埋め込み忠実度の間にはどのようなトレードオフがあるか？

主な発見

• ホールドアウトテストセットとして10,000件の未観測のレビューを用いた結果、予測された埋め込みと実際のtext-ada-002埋め込みとの間で平均コサイン類似度0.932を達成した。
• 手動評価により、予測された埋め込みが、実際のtext-ada-002埋め込みとほぼ同等の性能で関連性の高いレビューを検索できることを確認した。
• 最終的なモデルは80 MB未満であり、オフラインまたはプライバシーが重視される環境でのデプロイに適している。
• 最小限のアーキテクチャ的複雑さで、MPNetからtext-ada-002空間への強力なトランスファー能力を示した。
• 特許権のあるモデルやAPIへのアクセスを必要とせず、埋め込み空間間の相互運用性を可能にする。
• ペアドされたデータに基づいて訓練された小規模で効率的なニューラルネットワークを用いることで、高精度な埋め込み空間の整合化が実現可能であることが示唆された。