[論文レビュー] Machine Learning for Economics Research: When What and How?

Ajit Desai|arXiv (Cornell University)|Mar 31, 2023

Stock Market Forecasting MethodsDecision Sciences被引用数 3

ひとこと要約

本論文は、経済学における機械学習（ML）の応用について、包括的かつ体系的なレビューを提供しており、MLがいつ使用されるか、どのモデルが好まれるか、そしてどのように応用されるかを明らかにしている。MLは、非伝統的データの処理、非線形性の捉え込み、予測精度の向上において優れた成果を上げており、特に非構造化データにはディープラーニング、従来のデータセットにはアンサンブル手法が有効である。同時に、最適な結果を得るためにはモデルのカスタマイズとトランスファーラーニングの活用が不可欠であると強調している。

ABSTRACT

This article provides a curated review of selected papers published in prominent economics journals that use machine learning (ML) tools for research and policy analysis. The review focuses on three key questions: (1) when ML is used in economics, (2) what ML models are commonly preferred, and (3) how they are used for economic applications. The review highlights that ML is particularly used to process nontraditional and unstructured data, capture strong nonlinearity, and improve prediction accuracy. Deep learning models are suitable for nontraditional data, whereas ensemble learning models are preferred for traditional datasets. While traditional econometric models may suffice for analyzing low-complexity data, the increasing complexity of economic data due to rapid digitalization and the growing literature suggests that ML is becoming an essential addition to the econometrician's toolbox.

研究の動機と目的

• 経済学者やデータサイエンティストが経済研究および政策分析に機械学習ツールを効果的に応用できるようにガイドすること。
• デジタル化に伴い増加するデータの複雑さを鑑み、機械学習が伝統的な推計経済学的手法よりも適切に適用される状況を明確にすること。
• 上位の経済学ジャーナルにおける実証的応用に基づき、異なるデータタイプと研究ニーズに最も適したMLモデルを同定すること。
• モデル選択、カスタマイズ、トランスファーラーニングの活用といったベストプラクティスを強調し、性能と解釈可能性の向上を図ること。
• 解釈可能性、データ要件、標準誤差の欠如といったMLの主な制約を提示するとともに、新たな解決策の兆しを示すこと。

提案手法

• 『機械学習』『アンサンブル学習』『ディープラーニング』『強化学習』『自然言語処理』などのキーワードを用いて、10冊の主要な経済学ジャーナル（例：AER, QJE, JPE）から選択された論文の包括的レビュー。
• データタイプ（従来型 vs. 非伝統的）、モデルタイプ（ディープラーニング、アンサンブル、因果的ML）、用途（予測、特徴抽出、因果推論）に基づくML応用の分類。
• モデル選択の傾向の分析：テキスト・音声・画像データにはディープラーニングモデルが、テーブルデータにはアンサンブルモデル（例：ランダムフォレスト、XGBoost）が最も効果的。
• 論文のタイトルおよび要約からの語用語クラウド作成により、MLの採用傾向（例：『データ』『効果』『意思決定』『機械学習』）を可視化。
• 最近の文献からの事例研究を統合し、応用を具体化：資産価格評価におけるオートエンコーダ、Googleキーワードオークションの非監視的クラスタリング、中央銀行における強化学習。
• 解釈可能性技術の評価：Shapley値に基づく手法（例：SHAP）や、正則化MLモデルのための漸近理論の整備。

Figure 1: The number of publications over five years (between 2018-2022) in the leading economics journals that use ML. The data includes articles from the following ten journals: American Economic Review (AER), Econometrica, Journal of Economic Perspectives (JEP), Journal of Monetary Economics (JME

実験結果

リサーチクエスチョン

• RQ1 機械学習は、特に伝統的な推計経済学的手法と比較して、経済学研究においていつ最も有益であるか？
• RQ2 経済学で最も一般的に使用されている機械学習モデルは何か？ また、データ特性に応じてモデル選択はどのように変化するか？
• RQ3 テキスト、画像、音声といった非伝統的データに対して、機械学習はどのように効果的に応用できるか？
• RQ4 機械学習を経済学に応用するにあたり、主な課題は何か？ 特に解釈可能性、バイアス、標準誤差の欠如といった問題に対して研究者はどのように対処しているか？
• RQ5 データが限られているが複雑な状況では、トランスファーラーニングや事前学習済みモデルが性能をどれほど向上させるか？

主な発見

• 機械学習は、非伝統的かつ非構造化データの処理、強い非線形性の捉え込み、伝統的な推計経済学的手法を上回る予測精度の向上において、経済学研究でますます活用されている。
• テキスト・音声・画像データには、トランスフォーマー、ConvNextなどのディープラーニングモデルが好まれる一方、従来のテーブルデータにはアンサンブル学習モデル（例：ランダムフォレスト、XGBoost）が最も効果的である。
• 事前学習済みモデルを用いたトランスファーラーニングは、非伝統的データが限られる状況でも性能を著しく向上させ、データが乏しい応用分野における主要な戦略となっている。
• 因果的機械学習モデルは因果推論の分野で登場しつつあるが、予測モデルに比べてまだあまり一般的ではない。
• 解釈可能性は依然として主要な課題であり、Shapley値に基づく手法（例：SHAP）がモデル出力の説明に使われているが、形式的な漸近理論はまだ整備されていない。
• 進展は見られるものの、MLモデルは依然として標準誤差や漸近的性質を備えておらず、過学習やデータバイアスは経済的応用において重要な懸念事項のままである。

Figure 2: Schematic diagram representing the relative merits of ML and traditional econometric methods. The plot is adapted from [ 1 , 18 ] .