[論文レビュー] Using Machine Learning to Guide Cognitive Modeling: A Case Study in Moral Reasoning

Mayank Agrawal, Joshua C. Peterson+1 more|arXiv (Cornell University)|Feb 18, 2019

Psychology of Moral and Emotional Judgment参考文献 29被引用数 6

ひとこと要約

本論文は、黒ボックス機械学習モデルを用いて解釈可能な認知モデルを段階的に開発するデータ駆動型反復的手法を提案する。予測モデルが特定した特徴（例えば、道徳的原則や問題タイプの類似性）を段階的に統合することで、研究者は、多様なジレンマにおける道徳的判断を予測する際に、深層ニューラルネットワークと同等の精度を達成するが人間が理解可能なモデルを構築できる。

ABSTRACT

Large-scale behavioral datasets enable researchers to use complex machine learning algorithms to better predict human behavior, yet this increased predictive power does not always lead to a better understanding of the behavior in question. In this paper, we outline a data-driven, iterative procedure that allows cognitive scientists to use machine learning to generate models that are both interpretable and accurate. We demonstrate this method in the domain of moral decision-making, where standard experimental approaches often identify relevant principles that influence human judgments, but fail to generalize these findings to "real world" situations that place these principles in conflict. The recently released Moral Machine dataset allows us to build a powerful model that can predict the outcomes of these conflicts while remaining simple enough to explain the basis behind human decisions.

研究の動機と目的

• 機械学習における予測力と認知科学における説明的明確性のギャップを埋める。
• 複雑な現実世界の対立に一般化できない伝統的な実験研究の限界を克服する。
• 高性能なブラックボックスアルゴリズムからの知見を活用して、認知モデルを体系的かつ反復的に改善する手順を開発する。
• Moral Machineデータセットを用いて、道徳的意思決定におけるこの手法の有効性を示す。
• 道徳的判断予測におけるモデルの解釈可能性と予測精度のバランスを図る。

提案手法

• Moral Machineデータセットなどの大規模な行動データを用いて、パフォーマンスベンチマークとしてのブラックボックス機械学習モデル（例：深層ニューラルネットワーク）を訓練する。
• 基本的な道徳的原則をパrameterとして含む初期の解釈可能な認知モデル（例：合理的選択モデル）を形式化する。
• 解釈可能なモデルの予測とブラックボックスモデルの予測を比較し、体系的な予測ギャップを特定する。
• 予測誤差を分析して、分散を説明する新たな特徴や問題タイプ（例：人間 vs. 動物、年齢差）を同定する。
• これらの出現した特徴を解釈可能なモデルに統合し、反復的にパフォーマンスを再評価する。
• 解釈可能なモデルのパフォーマンスがブラックボックスモデルと収束するまでこのプロセスを繰り返す。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルは、高い予測精度を維持しつつ解釈可能な認知モデルの構築を導けるか？
• RQ2 複雑なジレンマにおける人間の道徳的判断を一貫して予測する具体的な道徳的原則や問題タイプの特徴は何か？
• RQ3 エージェントの属性（例：年齢、種別、犯罪歴）の類似性といった、出現する特徴が道徳的意思決定にどのように影響するか？
• RQ4 道徳的原則を組み込んだ合理的選択モデルは、深層ニューラルネットワークの性能にどの程度近づけるか？
• RQ5 ブラックボックスモデルのフィードバックを用いた反復的精錬は、より正確で解釈可能な認知モデルの開発を可能にするか？

主な発見

• 最終的な解釈可能なモデルは、道徳的判断の予測において77.1％の精度を達成し、深層ニューラルネットワークの性能にほぼ匹敵した。
• 「人間 vs. 動物」や「若者 vs. 老人」などの問題タイプ特徴を統合することで、モデルの精度が著しく向上し、残差予測誤差の説明も可能になった。
• 小規模なデータセットではニューラルネットワークが初期モデルを上回ったが、データサイズが大きくなると、ブラックボックスモデルと強化された解釈可能なモデルが収束した。これは、ブラックボックスモデルが同様の出現特徴を学習したことを示唆している。
• 残差分析から、全員が犯罪者である状況では道徳的原則が一貫して適用されていないことが判明し、この文脈を捉えるための新たな特徴の必要性が示された。
• 特定のジレンマ（例：男性 vs. 女性、太りすぎ vs. 健康な体型）では、「介入」の重みが過剰に評価されていたため、介入と人口統計的特徴の相互作用項を追加する必要があることが示された。
• 反復的手法により、新たな原則が効果的に同定・統合された。これは、ブラックボックスモデルが認知モデリングにおける意味のある解釈可能な特徴の発見を導ける可能性を示している。