[論文レビュー] TART: A plug-and-play Transformer module for task-agnostic reasoning

Kush Bhatia, Avanika Narayan+2 more|arXiv (Cornell University)|Jun 13, 2023

Topic Modeling被引用数 4

ひとこと要約

Tartは、タスク固有の微調整を必要とせず、確率的推論能力を向上させることで、大規模言語モデルのコンテキスト内学習を強化する、プラグアンドプレイ型のTransformerベースの推論モジュールを提案する。合成ロジスティック回帰タスクで訓練されたTartは、GPT-Neo、Pythia、Bloomなど多様なモデル、14のNLP二値分類タスク、視覚・音声など多様なモダリティにおいて、コンテキスト内学習を上回り、完全微調整の精度に近づく。例えば、GPT-Neo（125M）はRAFTベンチマークでBloom（176B）を上回る性能を示す。

ABSTRACT

Large language models (LLMs) exhibit in-context learning abilities which enable the same model to perform several tasks without any task-specific training. In contrast, traditional adaptation approaches, such as fine-tuning, modify the underlying models for each specific task. In-context learning, however, consistently underperforms task-specific tuning approaches even when presented with the same examples. While most existing approaches (e.g., prompt engineering) focus on the LLM's learned representations to patch this performance gap, our analysis actually reveal that LLM representations contain sufficient information to make good predictions. As such, we focus on the LLM's reasoning abilities and demonstrate that this performance gap exists due to their inability to perform simple probabilistic reasoning tasks. This raises an intriguing question: Are LLMs actually capable of learning how to reason in a task-agnostic manner? We answer this in the affirmative and propose TART which generically improves an LLM's reasoning abilities using a synthetically trained Transformer-based reasoning module. TART trains this reasoning module in a task-agnostic manner using only synthetic logistic regression tasks and composes it with an arbitrary real-world pre-trained model without any additional training. With a single inference module, TART improves performance across different model families (GPT-Neo, Pythia, BLOOM), model sizes (100M - 6B), tasks (14 NLP binary classification tasks), and even across different modalities (audio and vision). Additionally, on the RAFT Benchmark, TART improves GPT-Neo (125M)'s performance such that it outperforms BLOOM (176B), and is within 4% of GPT-3 (175B). Our code and models are available at https://github.com/HazyResearch/TART .

研究の動機と目的

• 大規模言語モデルにおけるコンテキスト内学習とタスク固有の微調整の間の持続的な性能ギャップを解消すること。
• この性能ギャップがLLMの表現能力の不足にあるのか、それとも弱い推論能力に起因するのかを調査すること。
• タスクに依存せず、モデルに依存せず、データスケーラビリティを確保する形で推論を向上させる手法を開発すること。
• 任意の事前学習済みLLMの推論能力を向上させる、プラグアンドプレイ型モジュールを設計すること。
• タスク固有の微調整に匹敵する性能ギャップを埋めつつ、多様なタスクとモダリティにわたる一般化能力を維持すること。

提案手法

• 合成ロジスティック回帰タスクで訓練された、専用のTransformerベースの推論モジュールを、確率的推論能力の向上を目的として開発する。
• 推論時において、任意の事前学習済みLLMの埋め込みを、追加の訓練なしに、事前学習済み推論モジュールと組み合わせる。
• 一度だけ合成データで訓練された、タスクに依存しない単一の推論モジュールを用いて、複数のモデルファミリーと下流タスクに一般化する。
• 14の二値分類NLPタスク、視覚、音声タスクにモジュールを適用し、ドメインを超えた一般化を評価する。
• 標準的なコンテキスト内学習よりも最大10倍のfew-shot例を処理できるようにすることで、データスケーラビリティを確保する。
• LLMのトークン埋め込みを推論モジュールの入力空間に一致させるために、学習可能なプロジェクションヘッドを用いる。

実験結果

リサーチクエスチョン

• RQ1 コンテキスト内学習と微調整の間の性能ギャップは、LLMの推論能力が不十分であることが原因である程度はどの程度か？
• RQ2 1つの合成データで事前に訓練された推論モジュールは、多様なLLMファミリーとタスクにおいてコンテキスト内学習を向上させることができるか？
• RQ3 提案手法は、タスクに依存しないまま、タスク固有の微調整に匹敵する性能を達成できるか？
• RQ4 再訓練なしに、異なるモダリティ（例：テキスト、視覚、音声）間で推論モジュールが一般化できるか？
• RQ5 Tartの性能は、few-shot例の数が増加するにつれてどのようにスケーリングするか？

主な発見

• LLMは高品質な表現を備えており、コンテキスト内学習と微調整の間の性能ギャップの最大79％は、推論能力の弱さに起因する。
• 微調整は表現と推論の両方を向上させるが、性能向上の72％は改善された推論に起因する。
• Tartは14のNLPタスクにおいて、平均してコンテキスト内学習の精度を18.4％向上させ、完全微調整の性能から3.1％以内にまで近づく。
• RAFTベンチマークでは、GPT-Neo（125M）にTartを適用した結果、Bloom（176B）を上回る性能を示し、強力なモデルに依存しない一般化能力を示している。
• Tartはモデルファミリー（GPT-Neo、Pythia、Bloom）、モデルサイズ（100M〜6B）、モダリティ（テキスト、視覚、音声）を問わず一般化可能であり、追加の訓練なしに動作する。
• より多くのfew-shot例が利用可能になるにつれて性能が向上し、標準的なコンテキスト内学習よりも最大10倍の例を処理可能となり、データスケーラビリティが向上する。