[論文レビュー] Machine Learning Methods Economists Should Know About

Susan Athey, Guido W. Imbens|arXiv (Cornell University)|Mar 24, 2019

Monetary Policy and Economic Impact参考文献 123被引用数 25

ひとこと要約

この論文は、経済学者が予測精度と因果推論の両面で強化される、教師あり学習や教師なし学習、行列補完、ハイブリッドなML・経済統計手法といった主要な機械学習（ML）手法をその実証的ツールキットに統合すべきであると主張している。特に高次元または複雑なデータ設定において顕著な効果を示す。

ABSTRACT

We discuss the relevance of the recent Machine Learning (ML) literature for economics and econometrics. First we discuss the differences in goals, methods and settings between the ML literature and the traditional econometrics and statistics literatures. Then we discuss some specific methods from the machine learning literature that we view as important for empirical researchers in economics. These include supervised learning methods for regression and classification, unsupervised learning methods, as well as matrix completion methods. Finally, we highlight newly developed methods at the intersection of ML and econometrics, methods that typically perform better than either off-the-shelf ML or more traditional econometric methods when applied to particular classes of problems, problems that include causal inference for average treatment effects, optimal policy estimation, and estimation of the counterfactual effect of price changes in consumer choice models.

研究の動機と目的

• 機械学習の経済学への導入が遅れている現状を改善するため、実証的に強力でありながら理論的にも裏付けられた手法を強調すること。
• 伝統的な経済統計学と現代の機械学習の間の文化的・メソドロジカルな隔たりを埋めるために、共通の目的と相補的な強みを特定すること。
• ML手法を大学院レベルの経済統計学教育に統合すべきであると主張し、研究者がビッグデータを分析し、分野を越えてコミュニケーションする能力を高めること。
• ハイブリッドなML・経済統計手法が、標準的なMLや伝統的な経済統計的手法に比べて、因果推論や政策評価において優れていることを示すこと。
• 経済学者が解釈可能性と推論の厳密性を損なわずにMLツールを採用するためのロードマップを提供すること。

提案手法

• ML手法を教師あり学習（回帰、分類）、教師なし学習（クラスタリング、次元削減）、行列補完（テキストやレコメンデーションシステムなど）に分類する。
• ドキュメント・ワード行列に行列因子分解を適用し、Latent Dirichlet Allocation（LDA）などのモデルを用いて潜在的トピックを抽出し、トピックモデリングを行列補完問題として定式化する。
• 語彙の意味的意味を分散表現としての語のベクトル表現で表すために、ワードエムベッディング（例：ニューラル確率的言語モデル）を用いる。
• ラベル付きの出力（例：センチメント、政治的傾向）を生成モデルに組み込むことで、文書の特徴を予測するための教師付きトピックモデルを導入する。
• 特徴量の数（語彙数T）が文書数（N）を上回る高次元テキストデータの処理のため、正則化技術（例：Lasso、リッジ）を強調する。
• MLの予測力と経済統計学の推論を組み合わせたハイブリッド手法（例：因果効果推定のためのダブルマシンラーニング）を提案し、妥当性とロバストネスを向上させる。

実験結果

リサーチクエスチョン

• RQ1 高次元または複雑なデータを扱う実証的経済学者にとって、どの機械学習手法が最も関連性があり有益であるか？
• RQ2 教師なし学習手法（例：トピックモデリング）をどのように行列補完問題として定式化することで、文書表現や予測の質を向上させられるか？
• RQ3 ハイブリッドなML・経済統計手法は、因果推論タスクにおいて標準的なMLや従来の経済統計手法に比べて、どのような点で優れているか？
• RQ4 語彙の分散表現やニューラル言語モデルが、経済的応用におけるテキスト分析において、実務的・理論的利点をもたらすのはどのような点か？
• RQ5 特徴量の数（例：語彙）が観察数（例：文書）を大幅に上回る状況において、教師あり学習をテキストデータにどのように適合できるか？

主な発見

• 教師あり学習、教師なしトピックモデリング、行列補完といった機械学習手法は、特にテキストベースの経済的実証研究において、高次元データの分析に非常に効果的である。
• Latent Dirichlet Allocation（LDA）のようなトピックモデルは、潜在的トピック構造に基づいて文書内の語の出現確率を予測することを目的とする行列補完問題として解釈できる。
• ニューラル確率的言語モデルに基づく語エムベッディング手法は、語の意味的関係を分散表現によって効果的に捉えている。
• 教師付きトピックモデルは、生成モデルの過程にラベル付き出力を組み込むことで、文書レベルの特徴（例：センチメント、政治的バイアス）の予測精度を向上させる。
• 高次元で観察数が少ない状況（高T、低N）に対処するには、正則化技術や次元削減（例：教師なしトピックモデリングによる）が不可欠である。
• ダブルマシンラーニングのようなハイブリッドなML・経済統計手法は、標準的なMLや従来の経済統計モデルに比べ、因果効果推定における推論の質とロバストネスを向上させている。