[논문 리뷰] Vec2Vec: A Compact Neural Network Approach for Transforming Text Embeddings with High Fidelity

Andrew Gao|arXiv (Cornell University)|2023. 06. 22.

Hate Speech and Cyberbullying DetectionComputer Science인용 수 3

한 줄 요약

이 논문은 오픈소스 MPNet 임베딩(768차원)을 OpenAI의 기밀 텍스트-아다-002 임베딩(1,536차원)으로 높은 정밀도로 매핑하는 경량 신경망인 Vec2Vec을 소개한다. 50,000개의 음식 리뷰 데이터를 75 에포크 동안 훈련시킨 결과, 검증 데이터에서 평균 코사인 유사도가 0.932에 도달하여 벡터 검색 작업에서 거의 동일한 성능을 달성했으며, 오프라인, 비공개, 비용 효율적인 추론이 가능하다.

ABSTRACT

Vector embeddings have become ubiquitous tools for many language-related tasks. A leading embedding model is OpenAI's text-ada-002 which can embed approximately 6,000 words into a 1,536-dimensional vector. While powerful, text-ada-002 is not open source and is only available via API. We trained a simple neural network to convert open-source 768-dimensional MPNet embeddings into text-ada-002 embeddings. We compiled a subset of 50,000 online food reviews. We calculated MPNet and text-ada-002 embeddings for each review and trained a simple neural network to for 75 epochs. The neural network was designed to predict the corresponding text-ada-002 embedding for a given MPNET embedding. Our model achieved an average cosine similarity of 0.932 on 10,000 unseen reviews in our held-out test dataset. We manually assessed the quality of our predicted embeddings for vector search over text-ada-002-embedded reviews. While not as good as real text-ada-002 embeddings, predicted embeddings were able to retrieve highly relevant reviews. Our final model, Vec2Vec, is lightweight (<80 MB) and fast. Future steps include training a neural network with a more sophisticated architecture and a larger dataset of paired embeddings to achieve greater performance. The ability to convert between and align embedding spaces may be helpful for interoperability, limiting dependence on proprietary models, protecting data privacy, reducing costs, and offline operations.

연구 동기 및 목표

• OpenAI의 텍스트-아다-002와 같은 기밀 임베딩 API에 의존하는 것을 줄이기 위해 오프라인, 비공개, 비용 효율적인 추론을 가능하게 하기 위해.
• 작은 신경망을 통해 오픈소스와 기밀 임베딩 공간 간 격차를 메우기 위해.
• 768차원의 MPNet 임베딩을 1,536차원의 텍스트-아다-002 임베딩으로 고정밀도로 변환하기 위해.
• 경량 모델이 벡터 검색과 같은 후속 작업에서 의미적 유사성을 유지할 수 있음을 보여주기 위해.
• 다른 임베딩 공간 간의 상호운용성을 가능하게 하여 닫힌 모델에 대한 의존도를 줄이기 위해.

제안 방법

• 768차원의 MPNet 임베딩을 1,536차원의 텍스트-아다-002 임베딩으로 매핑하기 위해 단순한 피드포워드 신경망을 훈련시켰다.
• 쌍으로 제공된 MPNet 및 텍스트-아다-002 임베딩을 가진 50,000개의 온라인 음식 리뷰로 구성된 정제된 데이터셋을 사용해 모델을 훈련시켰다.
• 임베딩 공간의 차이를 최소화하기 위해 평균 제곱오차 손실을 사용하여 75 에포크 동안 훈련을 수행했다.
• 최종 모델인 Vec2Vec는 80MB 미만이며, 자원이 제한된 환경에서 빠른 추론을 위해 설계되었다.
• 검토되지 않은 10,000개의 리뷰로 구성된 검증 세트에서 코사인 유사도를 통해 모델 성능을 평가했다.
• 수작업 평가를 통해 예측된 임베딩의 벡터 검색 작업에서의 검색 품질을 검증했다.

실험 결과

연구 질문

• RQ1 작은 신경망이 높은 의미적 정밀도로 오픈소스 MPNet 임베딩을 기밀 텍스트-아다-002 임베딩으로 정확하게 매핑할 수 있는가?
• RQ2 경량 모델이 후속 검색 작업에서 대규모 기밀 임베딩 모델의 성능을 어느 정도 재현할 수 있는가?
• RQ3 예측된 임베딩과 실제 텍스트-아다-002 임베딩 간의 코사인 유사도가 검토되지 않은 데이터에서 어떻게 비교되는가?
• RQ4 예측된 임베딩이 실질적인 벡터 검색 응용 프로그램에서 충분한 품질을 유지할 수 있는가?
• RQ5 다른 임베딩 공간 간의 변환 과정에서 모델 크기, 추론 속도, 임베딩 정밀도 사이의 상충 관계는 어떠한가?

주요 결과

• 검토되지 않은 10,000개의 리뷰로 구성된 검증 세트에서 예측된 임베딩과 실제 텍스트-아다-002 임베딩 간 평균 코사인 유사도가 0.932에 도달했다.
• 수작업 평가를 통해 예측된 임베딩이 실제 텍스트-아다-002 임베딩과 거의 동일한 성능으로 관련성이 높은 리뷰를 검색할 수 있음을 확인했다.
• 최종 모델는 80MB 미만이므로 오프라인 또는 개인정보 보호가 중요한 환경에서의 배포에 적합하다.
• 최소한의 아키텍처 복잡성으로도 MPNet에서 텍스트-아다-002 공간으로의 강력한 전이 능력을 보였다.
• 기밀 모델이나 API에 접근할 필요 없이도 서로 다른 임베딩 공간 간의 상호운용성을 가능하게 했다.
• 결과적으로, 쌍으로 제공된 데이터를 기반으로 작은 효율적인 신경망을 사용해 고정밀도의 임베딩 공간 정렬이 가능하다는 점을 시사한다.