[論文レビュー] Automatic Historical Stock Price Dataset Generation Using Python

Arunima Mandal, Yuanhang Shao+1 more|arXiv (Cornell University)|Aug 25, 2023

Stock Market Forecasting MethodsDecision Sciences被引用数 3

ひとこと要約

この論文では、yfinanceライブラリおよび直接URLクエリを用いて、S&P 500 やナスダックなどの主要インデックスから、包括的な歴史的株価データセットを自動生成するPythonベースのフレームワークを提示している。データ収集を自動化し、調整済み価格を用いて企業行動に対応し、会社名を含むCSV形式で個々の企業データを保存することで、研究者が手作業で行う作業を大幅に削減する。

ABSTRACT

With the dynamic political and economic environments, the ever-changing stock markets generate large amounts of data daily. Acquiring up-to-date data is crucial to enhancing predictive precision in stock price behavior studies. However, preparing the dataset manually can be challenging and time-demanding. The stock market analysis usually revolves around specific indices such as S&P500, Nasdaq, Dow Jones, the New York Stock Exchange (NYSE), etc. It is necessary to analyze all the companies of any particular index. While raw data are accessible from diverse financial websites, these resources are tailored for individual company data retrieval and there is a big gap between what is available and what is needed to generate large datasets. Python emerges as a valuable tool for comprehensively collecting all constituent stocks within a given index. While certain online sources offer code snippets for limited dataset generation, a comprehensive and unified script is yet to be developed and publicly available. Therefore, we present a comprehensive and consolidated code resource that facilitates the extraction of updated datasets for any particular time period and for any specific stock market index and closes the gap. The code is available at https://github.com/amp1590/automatic_stock_data_collection.

研究の動機と目的

• 金融インデックスから大規模かつ最新の歴史的株価データセットを手作業で構築する作業が時間と手間を要するという課題を解決すること。
• 断片的または不完全なコードスニペットに依存するのを回避し、データセット生成のための統合的かつ再利用可能なPythonスクリプトを提供すること。
• 研究者が株価予測に取り組めるように、任意の期間およびインデックスに対して、自動的でスケーラブルかつ正確なデータ収集を可能にすること。
• yfinanceライブラリを用いる方法と直接URLクエリを用いる方法の2つの実装アプローチを提供することで、環境に応じた柔軟性と互換性を確保すること。

提案手法

• この手法は、Pythonとyfinanceライブラリを用い、S&P 500 やナスダックなどのインデックスに含まれるすべての銘柄株の歴史的株価データをプログラムでダウンロードする。
• S&P 500についてはWikipediaから、他のインデックスについては代替のソースからティッカーのリストを取得し、正確で最新の銘柄記号の取得を保証する。
• 各ティッカーに対して、yfinanceのdownload()関数を用いて、日次、週次、月次データを自動調整（スプリットおよび配当金調整）でダウンロードする。
• スクリプトは日付インデックスを列に変換し、ティッカーシンボルを含む'Name'列を追加し、各企業のデータを指定されたディレクトリ内に個別のCSVファイルとして保存する。
• yfinanceを回避する代替手法として、Yahoo FinanceのAPIエンドポイントに直接クエリ文字列を構築し、タイムスタンプとURLパラメータを用いてpandasのread_csvでデータを取得する。
• エラー処理を実装し、指定された期間にデータがない企業をスキップし、正常に取得された銘柄数を追跡する。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてPythonを用いて、S&P 500 やナスダックなどの主要インデックス向けに、歴史的株価データセットを自動的かつ効率的に生成できるか？
• RQ2 数百～数千銘柄にわたるティッカーに対して、調整済み歴史的株価を収集するうえで、最も信頼性が高くスケーラブルな方法は何か？
• RQ3 データセット生成プロセスを手作業入力や断片的なコードスニペットから分離することで、再現性を向上させることは可能か？
• RQ4 大規模なデータ収集において、yfinanceライブラリと直接URLベースのデータ取得の間に、パフォーマンスおよび信頼性の差異は何か？

主な発見

• 提示されたスクリプトは、S&P 500およびナスダックインデックスに含まれるすべての銘柄について、調整済み終値を含むすべての財務指標を備えた完全な個別CSVファイルを正常に生成した。
• yfinanceライブラリの自動調整機能により、株式スプリットや配当金などの企業行動が正しく処理され、データの整合性が保たれた。
• 指定された日付範囲に存在しない銘柄を特定・除外することで、エラーを防止し、システムの耐障害性が向上した。
• 代替の直接URL手法は、yfinanceライブラリを必要とせず同等の結果を達成でき、制限された環境向けの軽量な代替手段を提供した。
• このフレームワークにより、大規模な歴史的データセットを構築するにあたり、時間と労力が大幅に削減され、研究者がデータ取得ではなく分析に集中できるようになった。
• コードはGitHubで公開されており、再利用・拡張・研究ワークフローへの統合を支援する。