[论文解读] A Methodology and Software Architecture to Support Explainability-by-Design

Trung Dong Huynh, Niko Tsakalakis+3 more|ePrints Soton (University of Southampton)|Jun 13, 2022

Scientific Computing and Data Management被引用 9

一句话总结

本文提出了一种可解释性设计的方法论与软件架构，支持在决策系统中主动集成解释功能。该方法引入了一个三阶段工作流（本文聚焦于技术设计阶段），将需求转化为可重用的配置，从而从应用日志生成溯源痕迹，支持通过可查询数据实现个性化解释；在两个场景中的应用表明，每条解释语句的开发时间最短仅需两小时。

ABSTRACT

Algorithms play a crucial role in many technological systems that control or affect various aspects of our lives. As a result, providing explanations for their decisions to address the needs of users and organisations is increasingly expected by laws, regulations, codes of conduct, and the public. However, as laws and regulations do not prescribe how to meet such expectations, organisations are often left to devise their own approaches to explainability, inevitably increasing the cost of compliance and good governance. Hence, we envision Explainability-by-Design, a holistic methodology characterised by proactive measures to include explanation capability in the design of decision-making systems. The methodology consists of three phases: (A) Explanation Requirement Analysis, (B) Explanation Technical Design, and (C) Explanation Validation. This paper describes phase (B), a technical workflow to implement explanation capability from requirements elicited by domain experts for a specific application context. Outputs of this phase are a set of configurations, allowing a reusable explanation service to exploit logs provided by the target application to create provenance traces of the application's decisions. The provenance then can be queried to extract relevant data points, which can be used in explanation plans to construct explanations personalised to their consumers. Following the workflow, organisations can design their decision-making systems to produce explanations that meet the specified requirements. To facilitate the process, we present a software architecture with reusable components to incorporate the resulting explanation capability into an application. Finally, we applied the workflow to two application scenarios and measured the associated development costs. It was shown that the approach is tractable in terms of development time, which can be as low as two hours per sentence.

研究动机与目标

• 解决决策系统中日益增长的监管与社会对可解释人工智能的需求。
• 通过在系统设计生命周期早期嵌入解释能力，降低合规解释要求的成本与复杂性。
• 提供一种可重用、模块化的软件架构，支持在多样化应用场景中实现解释服务。
• 使领域专家与开发人员能够通过标准化的技术工作流协作定义并实现解释需求。
• 通过真实应用场景中的案例，证明该方法的可行性与高效性，并量化开发时间。

提出的方法

• 该方法论分为三个阶段：解释需求分析、技术设计与验证，本文聚焦于第二阶段。
• 一项技术工作流将领域特定的解释需求转化为系统配置，以定义目标应用日志的处理方式。
• 通过分析应用日志并捕获因果依赖关系，该工作流生成溯源痕迹——结构化的决策过程记录。
• 这些溯源痕迹以可查询格式存储，支持运行时提取相关数据点以生成解释。
• 提出一种可重用的软件架构，由模块化组件构成，可与现有应用集成以暴露解释服务。
• 该架构通过支持基于消费者特定需求对溯源数据进行查询，实现动态的个性化解释。

实验结果

研究问题

• RQ1 如何系统性且主动地将解释功能集成到决策系统的设计中？
• RQ2 何种技术工作流能够将领域特定的解释需求转化为可实现的系统配置？
• RQ3 如何从应用日志自动生成溯源痕迹以支持解释生成？
• RQ4 何种软件架构能够支持在不同应用中实现可重用、可扩展且可定制的解释服务？
• RQ5 在真实应用场景中，使用该方法论实现解释功能的实际开发成本是多少？

主要发现

• 该方法论在真实应用场景中，实现解释功能的开发时间最低可缩短至每条解释语句两小时。
• 该方法通过支持对源自应用日志的溯源痕迹进行针对性查询，实现了个性化解释的生成。
• 所提出的软件架构允许以最小定制化程度，将解释服务模块化地集成到现有应用中。
• 工作流成功地将高层级的解释需求转化为具体、可执行的解释生成配置。
• 该方法通过强制采用标准化、设计时的实现方式，降低了临时或不一致解释实现的风险。
• 在两个应用场景中的评估结果证实，该方法在实际部署中具有可行性与可扩展性。