[論文レビュー] The representation landscape of few-shot learning and fine-tuning in large language models

Diego Doimo, Alessandro Serra+2 more|arXiv (Cornell University)|Sep 5, 2024

Speech Recognition and Synthesis被引用数 4

ひとこと要約

本研究では、大規模言語モデル（LLMs）の内部表現が、文脈内学習（ICL）と教師あり微調整（SFT）によってどのように変化するかを、隠れ表現の密度に基づく幾何的分析を用いて調査する。その結果、ICLは初期層で意味的に組織化され階層的な表現を生成するが、SFTは後続層で答えの識別性に強く関連するクラスタリングを明確化する。これは、性能が類似しているにもかかわらず、根本的に異なる計算戦略をとっていることを示している。

ABSTRACT

In-context learning (ICL) and supervised fine-tuning (SFT) are two common strategies for improving the performance of modern large language models (LLMs) on specific tasks. Despite their different natures, these strategies often lead to comparable performance gains. However, little is known about whether they induce similar representations inside LLMs. We approach this problem by analyzing the probability landscape of their hidden representations in the two cases. More specifically, we compare how LLMs solve the same question-answering task, finding that ICL and SFT create very different internal structures, in both cases undergoing a sharp transition in the middle of the network. In the first half of the network, ICL shapes interpretable representations hierarchically organized according to their semantic content. In contrast, the probability landscape obtained with SFT is fuzzier and semantically mixed. In the second half of the model, the fine-tuned representations develop probability modes that better encode the identity of answers, while the landscape of ICL representations is characterized by less defined peaks. Our approach reveals the diverse computational strategies developed inside LLMs to solve the same task across different conditions, allowing us to make a step towards designing optimal methods to extract information from language models.

研究の動機と目的

• 文脈内学習（ICL）と教師あり微調整（SFT）が大規模言語モデル（LLMs）の内部表現空間にどのように影響を与えるかを理解すること。
• 同じ質問応答タスクにおいて、ICLとSFTの下での隠れ表現の幾何的構造を比較すること。
• ICLとSFTが類似した性能を示すにもかかわらず、それらが同じか異なる内部計算戦略を誘発するかを調査すること。
• 特にネットワークの中盤付近の臨界転移点を特徴とする、層をまたいだ表現幾何の進化を分析すること。
• 固有次元性と確率モード構造が、意味的コンテンツと答えの識別性とどのように相関するかを特定すること。

提案手法

• 隠れ層表現におけるデータ多様体上に直接確率モードを同定する密度ベースのアプローチを用い、明示的な次元削減を回避する。
• 層ごとの隠れ表現の固有次元（ID）を計算し、表現のランドスケープにおける構造的転移を検出する。
• 多モード構造の出現を追跡する。特に、主題ごとのクラスタリング（意味的クラスタリング）と、答えの識別子（A, B, C, D）ごとのクラスタリング（答え固有のクラスタリング）に注目する。
• 凸型のクラスタ形状や事前のクラスタ数の仮定をしない非パラメトリック手法を用いて、密度ピークを同定する。
• MMLUベンチマークを用いた複数選択式の質問応答タスクに適用し、ゼロショット、Few-shot（ICL）、微調整済みの設定を比較する。
• 類似した主題のパーティショニングを持つ第二のデータセットミックスに対してもアプローチを適用し、データ分布の変動に対して堅牢であることを確認する。

(a) Consistency between the peak composition and the MMLU subjects. A schematic view of the density peaks in the early . The coloring reflects the presence of the subjects.

実験結果

リサーチクエスチョン

• RQ1 文脈内学習（ICL）と教師あり微調整（SFT）は、大規模言語モデルにおいて類似した内部表現を生成するか？
• RQ2 ICLとSFTの下で、隠れ表現の幾何的構造は層をまたいでどのように進化するか？
• RQ3 固有次元性は、ネットワーク内での機能的転移を同定する上で果たす役割は何か？
• RQ4 ICLにおける初期層では、階層的で意味的に意味のある表現クラスタリングが見られるか？
• RQ5 SFTにおける後続層では、表現ランドスケープに明確な、答えの識別に特化したクラスタリングが見られるか？

主な発見

• ICLおよびSFTの両者において、ネットワークの中盤付近に、固有次元のピークを伴う、表現幾何の急激な転移が観察される。
• 初期層では、ICLが主題ごとにクラスタリングされる意味的に組織化された階層的表現を生成し、密度ピークがMMLUのトピック構造を反映している。
• それに対して、SFTは初期層で曖昧で意味的に混在した表現ランドスケープを生成し、明確な主題ベースのクラスタリングを示さない。
• 後続層では、SFTが答えの識別（A, B, C, D）と強く相関する明確な確率モードを形成しており、答え固有の符号化が強化されていることが示唆される。
• ICLの後続層における表現は、ピークがややぼやかく、SFTに比べて識別性の符号化が弱いことが示唆される。
• 分析から、SFTは初期層よりも後続層をより顕著に変化させていることが明らかとなり、後続層に重点を置いた適応的低ランク微調整戦略の有効性が裏付けられる。

(b) Consistency between the peak composition and the MMLU answers. A schematic view of the density peaks in the late layers. The coloring reflects the presence of answers with the same letter: A (blue), B (okra), C (pink), and D (light blue).