[論文レビュー] Numeracy from Literacy: Data Science as an Emergent Skill from Large Language Models

David Noever, Forrest McKee|arXiv (Cornell University)|Jan 31, 2023

Machine Learning and Data Classification被引用数 12

ひとこと要約

本稿は、大規模言語モデルにおける次のトークン予測が出現的な数値理解（numeracy skills）を示せるかを調査する。データサイエンスのような課題（記述統計、グルーピング、特徴量重要性、相関、データセット上での線形回帰）を通じて実証される。

ABSTRACT

Large language models (LLM) such as OpenAI's ChatGPT and GPT-3 offer unique testbeds for exploring the translation challenges of turning literacy into numeracy. Previous publicly-available transformer models from eighteen months prior and 1000 times smaller failed to provide basic arithmetic. The statistical analysis of four complex datasets described here combines arithmetic manipulations that cannot be memorized or encoded by simple rules. The work examines whether next-token prediction succeeds from sentence completion into the realm of actual numerical understanding. For example, the work highlights cases for descriptive statistics on in-memory datasets that the LLM initially loads from memory or generates randomly using python libraries. The resulting exploratory data analysis showcases the model's capabilities to group by or pivot categorical sums, infer feature importance, derive correlations, and predict unseen test cases using linear regression. To extend the model's testable range, the research deletes and appends random rows such that recall alone cannot explain emergent numeracy.

研究の動機と目的

• 文字情報から数値理解への翻訳がLLMsで実現可能かを動機づけ、出現的な数値推論能力を検証する。
• 単純な規則で記憶・エンコードできない複雑なデータ操作を用いてLLMの数値理解を探る。
• 次のトークン予測が文の補完からデータサイエンス文脈での実際の数値理解へ拡張されるかを評価する。

提案手法

• 記憶を超える算術操作を用いて4つの複雑なデータセットを分析する。
• Pythonライブラリを介して読み込まれたメモリ内データまたはランダムに生成されたデータに対して記述統計を行う。
• グルーピングやピボット、特徴量重要性の推定、相関の導出、未知のテストケースを線形回帰で予測するなどの能力を示す。
• 記憶再現に基づく説明を防ぐために、ランダムな行を削除・追加して検証範囲を拡張する。

実験結果

リサーチクエスチョン

• RQ1 LLMの次のトークン予測はデータサイエンス課題に対して出現的な数値理解を示すか？
• RQ2 LLMsはデータセット上で記述統計、グルーピング、特徴量重要性、相関、回帰をどの程度実行できるか？
• RQ3 記憶を乱す操作（例：ランダム行の削除/追加）でもLLMに数値理解能力は得られるか？
• RQ4 限られた算術能力を持つ以前の小規模トランスフォーマーモデルと比較して、LLMsの数値理解はどうか？

主な発見

• LLMsはグルーピング、ピボティング、テストケースの予測などデータサイエンス課題に対して出現的な数値理解能力を示す。
• 分析のために読み込まれたまたは生成されたデータセットから特徴量重要性を推定し相関を導出できる。
• 未知のデータに対する線形回帰と予測が実証され、記憶を超えた数値理解を示す。
• 記憶再現に基づく数値理解の説明に挑戦するために、ランダム行の削除と追加が用いられる。