[論文レビュー] DQ-LoRe: Dual Queries with Low Rank Approximation Re-ranking for In-Context Learning

Jiong Xiong, Zixuan Li+11 more|arXiv (Cornell University)|Oct 4, 2023

Context-Aware Activity Recognition SystemsComputer Science被引用数 3

ひとこと要約

DQ-LoReは、大規模言語モデル（LLMs）を用いてChain-of-Thought（CoT）推論を生成し、それを低ランク近似（LoRe）を用いて強化された検索モデルを介して再ランク付けすることで、少数例学習を向上させる二重クエリフレームワークを提案する。この手法は次元削減による冗長情報のフィルタリングを通じて、GPT-4で94.2%の精度を達成し、先行する最先端手法よりも1.7%の向上を実現した。

ABSTRACT

Recent advances in natural language processing, primarily propelled by Large Language Models (LLMs), have showcased their remarkable capabilities grounded in in-context learning. A promising avenue for guiding LLMs in intricate reasoning tasks involves the utilization of intermediate reasoning steps within the Chain-of-Thought (CoT) paradigm. Nevertheless, the central challenge lies in the effective selection of exemplars for facilitating in-context learning. In this study, we introduce a framework that leverages Dual Queries and Low-rank approximation Re-ranking (DQ-LoRe) to automatically select exemplars for in-context learning. Dual Queries first query LLM to obtain LLM-generated knowledge such as CoT, then query the retriever to obtain the final exemplars via both question and the knowledge. Moreover, for the second query, LoRe employs dimensionality reduction techniques to refine exemplar selection, ensuring close alignment with the input question's knowledge. Through extensive experiments, we demonstrate that DQ-LoRe significantly outperforms prior state-of-the-art methods in the automatic selection of exemplars for GPT-4, enhancing performance from 92.5% to 94.2%. Our comprehensive analysis further reveals that DQ-LoRe consistently outperforms retrieval-based approaches in terms of both performance and adaptability, especially in scenarios characterized by distribution shifts. DQ-LoRe pushes the boundary of in-context learning and opens up new avenues for addressing complex reasoning challenges. Our code is released at https://github.com/menik1126/DQ-LoRe

研究の動機と目的

• LLMsの文脈内少数例選択における不安定さと一般化可能な基準の欠如を解消する。
• 単なる質問類似度を超えて、中間推論ステップ（CoT）を組み込むことで、少数例選択を改善する。
• 次元削減による高次元埋め込みの冗長性を低減し、少数例の区別を向上させる。
• 分布シフトの状況下でも、少数例選択の頑健性と適応性を向上させる。
• LLMsと検索モデルを二段階クエリパイプラインで活用するスケーラブルで効率的なフレームワークを構築する。

提案手法

• 二重クエリメカニズムを用いる：まずLLMに入力質問のChain-of-Thought（CoT）推論を生成させる。
• 入力質問とその生成されたCoTを連結し、検索モデル用のより豊かなクエリを形成する。
• 結合された質問-CoTクエリを用いて、小規模な検索モデルにクエリを発行し、候補となる少数例を取得する。
• 取得した少数例の埋め込み空間に低ランク近似（例：PCA）を適用し、冗長情報をフィルタリングする。
• 低ランク表現に基づいて少数例を再ランク付けし、入力の推論構造との整合性を向上させる。
• 最終的な再ランク付け済み少数例をLLMに供給し、推論パフォーマンスを向上させる。

Figure 1: The overall pipeline of DQ-LoRe. It consists of three parts: Dual Query first query LLM to obtain CoT $y$ , then query the retriever to obtain the final exemplars via both question and LLM-generated knowledge. LoRe leverages PCA to approximate the low-rank embedding of retrieved exemplars,

実験結果

リサーチクエスチョン

• RQ1 LLMが生成するChain-of-Thought（CoT）推論を組み込むことで、文脈内少数例検索の質が向上するか？
• RQ2 低ランク近似による次元削減は、意味的に類似しているが論理的に異なる少数例の区別を向上させるか？
• RQ3 分布シフトの条件下で、DQ-LoReは検索ベースのベースラインと比較してどのように性能を発揮するか？
• RQ4 二重クエリメカニズムは、質問のみの類似度に依存するのを軽減し、few-shotプロンプティングにおける頑健性を向上させるか？
• RQ5 LoReベースの再ランク付けは、多段階推論ベンチマークにおける一般化性とパフォーマンスをどの程度向上させるか？

主な発見

• DQ-LoReは、GPT-4における文脈内少数例学習の精度を92.5%から94.2%まで向上させ、先行する最先端手法よりも1.7%の絶対的向上を達成した。
• 本手法は分布シフト下でも優れた頑健性を示し、検索ベースのベースラインが性能を低下させる状況でも高いパフォーマンスを維持した。
• 低ランク近似（LoRe）は、高次元埋め込みにおける冗長性を効果的に低減し、少数例の区別と選択品質を向上させた。
• 二重クエリメカニズムは、LLMが生成する推論を活用することで、質問のみの検索を上回る精度と一般化性能を実現した。
• DQ-LoReは、SVAMPやGSM8Kを含む複数の多段階推論ベンチマークで、既存の検索ベースのアプローチを一貫して上回った。
• PCAのフィルタリング効果のおかげで、誤った相関関係や語の共起パターンを含む少数例プールに対しても、本フレームワークは適応可能で効果的であった。

(a) The retriever on SVAMP is trained under the i.i.d. setting and the dimensionality-reduced results after retrieval on SVAMP.