[论文解读] Computational Inference in Cognitive Science: Operational, Societal and Ethical Considerations

Baihan Lin|arXiv (Cornell University)|Oct 24, 2022

Explainable Artificial Intelligence (XAI)被引用 5

一句话总结

本文提出了一套计算认知推理的框架，用于认知科学领域，强调在使用机器学习从行为和神经生理数据推断心理状态时，需考虑操作性、社会性及伦理因素。该研究倡导采用负责任、透明且可解释的建模方法，以确保在数字健康和临床环境中的可靠实际应用。

ABSTRACT

Emerging research frontiers and computational advances have gradually transformed cognitive science into a multidisciplinary and data-driven field. As a result, there is a proliferation of cognitive theories investigated and interpreted from different academic lens and in different levels of abstraction. We formulate this applied aspect of this challenge as the computational cognitive inference, and describe the major routes of computational approaches. To balance the potential optimism alongside the speed and scale of the data-driven era of cognitive science, we propose to inspect this trend in more empirical terms by identifying the operational challenges, societal impacts and ethical guidelines in conducting research and interpreting results from the computational inference in cognitive science.

研究动机与目标

• 为应对认知科学从假设驱动向数据驱动转变的趋势，将计算认知推理形式化为一项核心研究范式。
• 识别并分析使用机器学习设计和执行数据驱动认知推理研究时面临的关键操作挑战。
• 考察在心理健康和数字健康应用中部署计算推理模型所带来的社会影响。
• 建立模型开发、解释和部署的伦理准则，以防止偏差和结果的过度解读。
• 通过整合公众参与、透明度和迭代验证，推动负责任的创新，应用于应用认知科学研究中。

提出的方法

• 将计算认知推理形式化为利用机器学习模型，将可测量信号（如行为数据、神经影像、数字足迹）映射到潜在认知特性的过程。
• 提出一个三层次的人工智能-认知交互框架：计算推理、基于认知理论的人工智能，以及大脑机制的计算建模。
• 强调通过迭代评估实现模型可解释性和验证，特别是在真实世界的临床和数字健康环境中。
• 引入偏差缓解策略，包括多样化数据采集、多标准评估，以及在模型开发过程中引入领域专家咨询。
• 倡导在人工智能系统设计的早期阶段开展公众参与和透明化，以避免过度乐观，确保伦理化部署。
• 强调必须区分概念验证模型与经过验证、技术上已准备就绪的系统，以防止因过早部署而造成临床伤害。

实验结果

研究问题

• RQ1 如何将计算推理操作化为一种可靠方法，以从多模态数据中推断认知状态？
• RQ2 在开发和验证数据驱动的认知推理模型时，面临的关键操作挑战是什么？
• RQ3 在心理健康和数字健康应用中部署基于人工智能的认知推理时，存在哪些社会风险？
• RQ4 如何将伦理准则嵌入计算认知推理系统的设计与部署中？
• RQ5 概念验证模型在多大程度上可以安全地过渡到真实世界的临床或应用系统？

主要发现

• 计算认知推理作为应用认知科学的基石，能够实现关于心理状态的可操作、数据驱动的推断。
• 目前许多基于人工智能的认知推理模型仍停留在概念验证阶段，技术成熟度有限，且存在过度解读的高风险。
• 通过多样化数据采样、多标准评估以及在模型开发过程中引入专家咨询，可有效缓解数据和模型设计中的偏差。
• 在人工智能系统开发的早期阶段即开展透明化和公众参与，对于建立信任、防止滥用至关重要。
• 伦理化部署需正视模型局限性，避免对人工智能作为领域专家的能力抱有过度乐观预期，并确保临床安全。
• 经过验证、可解释且迭代的建模过程，是实现从概念到数字健康和精神病学领域实际应用的关键。