[论文解读] A Measure Based Generalizable Approach to Understandability

Vikas Kushwaha, Sruti Srinivasa Ragavan+1 more|ArXiv.org|Mar 27, 2025

Complex Systems and Decision Making被引用 7

一句话总结

提出一个以认知科学为基础、领域无关的可理解性框架，包含六个维度，用以指导人机沟通与可控性。

ABSTRACT

Successful agent-human partnerships require that any agent generated information is understandable to the human, and that the human can easily steer the agent towards a goal. Such effective communication requires the agent to develop a finer-level notion of what is understandable to the human. State-of-the-art agents, including LLMs, lack this detailed notion of understandability because they only capture average human sensibilities from the training data, and therefore afford limited steerability (e.g., requiring non-trivial prompt engineering). In this paper, instead of only relying on data, we argue for developing generalizable, domain-agnostic measures of understandability that can be used as directives for these agents. Existing research on understandability measures is fragmented, we survey various such efforts across domains, and lay a cognitive-science-rooted groundwork for more coherent and domain-agnostic research investigations in future.

研究动机与目标

• 激发对超越数据驱动先验的领域无关可理解性度量的需求。
• 将可理解性整理为基于六个认知维度的类别。
• 对跨领域的现有度量进行调研，并将它们映射到所提出的维度。
• 为可推广、可实现的代理指引度量奠定基础。

提出的方法

• 提出可理解性的六个维度：感知优势、记忆成本、模式解码性、内聚性、逻辑一致性、语义契合。
• 回顾认知结构与理解模型以证明这些维度的合理性。
• 将领域特定度量（如文本/代码复杂性、内聚性）连接到基本的认知结构。
• 概述如何将这些维度用作代理的优化指令。
• 讨论以认知心理学为基础的可推广、领域无关的度量的潜力。

实验结果

研究问题

• RQ1 哪些基本的认知维度在跨文本、代码、用户界面等工件的可理解性中起作用？
• RQ2 如何利用认知心理学原理将领域特定的可理解性度量推广应用？
• RQ3 将这六个维度整合到代理引导和优化中的前进路径是什么？

主要发现

• 在跨领域的可理解性度量中存在碎片化的局面；提出一个统一的六维框架。
• 这六个维度映射到认知加工的阶段，并可推广到各类信息工件。
• 有潜力将这些维度用作代理的优化指令，以提升可控性和可理解性。
• 该框架提供一个简洁、解释性强、并可能具备预测性的基于认知心理学的理论。