[論文レビュー] Demystifying Embedding Spaces using Large Language Models

Guy Tennenholtz, Yinlam Chow+7 more|arXiv (Cornell University)|Oct 6, 2023

Topic Modeling被引用数 5

ひとこと要約

本論文では、学習可能なアダプタ層を通じてドメイン埋め込みを大規模言語モデル（LLM）と統合するフレームワークを提案する。これにより、密度の高いベクトル表現に対する自然言語による照会が可能になる。LLMを埋め込みをテキストプロンプトとして解釈できるように微調整することで、解釈可能で物語的アプローチによる実在および仮想的エンティティの分析が可能となり、概念活性化ベクトル（CAV）の向上、新規アイテムの記述、レコメンデーションシステムにおけるユーザーの好みの復元に成功した。

ABSTRACT

Embeddings have become a pivotal means to represent complex, multi-faceted information about entities, concepts, and relationships in a condensed and useful format. Nevertheless, they often preclude direct interpretation. While downstream tasks make use of these compressed representations, meaningful interpretation usually requires visualization using dimensionality reduction or specialized machine learning interpretability methods. This paper addresses the challenge of making such embeddings more interpretable and broadly useful, by employing Large Language Models (LLMs) to directly interact with embeddings -- transforming abstract vectors into understandable narratives. By injecting embeddings into LLMs, we enable querying and exploration of complex embedding data. We demonstrate our approach on a variety of diverse tasks, including: enhancing concept activation vectors (CAVs), communicating novel embedded entities, and decoding user preferences in recommender systems. Our work couples the immense information potential of embeddings with the interpretative power of LLMs.

研究の動機と目的

• 下流の機械学習タスクで使用される不透明で高次元な埋め込みの解釈を困難とする課題に対処すること。
• 実在しないまたは仮想のエンティティの埋め込みに対しても、自然言語による照会を可能にすること。
• LLMを用いて密度の高いベクトル表現と人間が理解できる物語的記述の間のギャップを埋めること。
• 多様な埋め込み空間を解釈できる汎用的で微調整されたLLMフレームワークの開発

提案手法

• ドメイン埋め込みベクトルを事前学習済みLLMのトークンレベルの埋め込み空間に写像するためのアダプタ層を学習する。
• MovieLens 25Mデータセットからの埋め込みを、25の多様なタスクで微調整することで、LLMが埋め込みを強固に一般化して解釈できるようにする。
• KL正則化を用いた強化学習の目的関数を採用し、微調整済みLLM方策が事前学習済みモデルと整合しつつ、タスク固有の報酬を最大化するようにする。
• 解釈タスクを、アクションがトークン生成ステップに対応するCoMDPにおける逐次的意思決定問題として定式化する。
• 価値関数とエントロピー正則化を用いたソフトアクタクリティカルを最適化し、訓練の安定性とサンプル効率を向上させる。
• LLMの自己回帰的性質を活用し、微調整済みと事前学習済み方策間のシーケンスレベルのKLダイバージェンスを計算して正則化に用いる。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルは、自然言語プロンプトを通じて、密度の高いドメイン埋め込みを効果的に解釈できるように微調整可能か？
• RQ2 LLMは、実在または仮想のエンティティの埋め込みベクトルのみに基づいて、意味的で説得力のある物語的記述をどれほど適切に生成できるか？
• RQ3 本フレームワークは、概念活性化ベクトル（CAV）のような標準的な解釈手法を超えて、より豊かで洗練された意味的インサイトを捉えることができるか？
• RQ4 ユーザー埋め込み表現の分析により、このモデルはレコメンデーションシステムでユーザーの好みをどれほど正確に復元できるか？
• RQ5 アダプタ層を介した埋め込みベクトルの統合は、LLM出力の解釈可能性と事実の整合性にどのように影響するか？

主な発見

• 提案されたELMフレームワークは、仮想的または存在しないアイテムに対しても、一貫性があり文脈的に適切な物語的記述を、その埋め込みベクトルに基づいて生成できる。
• 従来のCAVベースの解釈手法を一般化し、二値の概念活性化を超えて、より豊かで自然言語に近い記述を可能にすることで、より洗練された意味的インサイトを捉えることができる。
• 25の多様なタスクでの微調整により、LLMのユーザーおよびアイテム埋め込みの解釈能力が著しく向上し、MovieLensデータセットにおけるユーザー行動と整合する好みのプロファイルが得られた。
• KL正則化とソフトアクタクリティカル訓練の併用により、方策の更新が安定化し、事前学習済みモデルのインダクティブバイアスが保持された一方で、効果的な適応が可能になった。
• 自然言語による直接的かつインタラクティブな埋め込み空間の探索が可能となり、レコメンデーションシステムや概念発見の分野で実用的価値を示した。
• 実証結果から、潜在空間における既知の埋め込みベクトルからの内挿または外挿によって、新規アイテムの妥当な記述を生成できることが示された。