[논문 리뷰] A Methodology and Software Architecture to Support Explainability-by-Design

Trung Dong Huynh, Niko Tsakalakis외 3명|ePrints Soton (University of Southampton)|2022. 06. 13.

Scientific Computing and Data Management인용 수 9

한 줄 요약

이 논문은 결정 시스템에 설명 가능성 기능을 사전에 통합할 수 있도록 하는 설명 가능성 설계(Explainability-by-Design)를 위한 방법론과 소프트웨어 아키텍처를 제안한다. 본 논문에서는 기술적 설계에 집중한 삼단계 워크플로우를 도입하며, 요구사항을 재사용 가능한 구성으로 변환하여 응용 프로그램 로그에서 근거 추적(trace)를 생성함으로써 질의 가능한 데이터를 통해 개인화된 설명을 가능하게 한다. 실제 두 가지 시나리오에서의 적용을 통해 문장당 최소 2시간 이내로 설명 개발이 가능함을 입증하였다.

ABSTRACT

Algorithms play a crucial role in many technological systems that control or affect various aspects of our lives. As a result, providing explanations for their decisions to address the needs of users and organisations is increasingly expected by laws, regulations, codes of conduct, and the public. However, as laws and regulations do not prescribe how to meet such expectations, organisations are often left to devise their own approaches to explainability, inevitably increasing the cost of compliance and good governance. Hence, we envision Explainability-by-Design, a holistic methodology characterised by proactive measures to include explanation capability in the design of decision-making systems. The methodology consists of three phases: (A) Explanation Requirement Analysis, (B) Explanation Technical Design, and (C) Explanation Validation. This paper describes phase (B), a technical workflow to implement explanation capability from requirements elicited by domain experts for a specific application context. Outputs of this phase are a set of configurations, allowing a reusable explanation service to exploit logs provided by the target application to create provenance traces of the application's decisions. The provenance then can be queried to extract relevant data points, which can be used in explanation plans to construct explanations personalised to their consumers. Following the workflow, organisations can design their decision-making systems to produce explanations that meet the specified requirements. To facilitate the process, we present a software architecture with reusable components to incorporate the resulting explanation capability into an application. Finally, we applied the workflow to two application scenarios and measured the associated development costs. It was shown that the approach is tractable in terms of development time, which can be as low as two hours per sentence.

연구 동기 및 목표

• 결정 시스템에서 증가하는 규제 및 사회적 요구에 부응하기 위해 설명 가능한 AI를 도입할 필요성 해결.
• 설계 수명 주기 초반에 설명 기능을 통합함으로써 설명 요구사항 준수의 비용과 복잡도를 감소시키기 위한 목표.
• 다양한 응용 환경에서 설명 서비스를 구현하는 데 유용한 재사용 가능하고 모듈화된 소프트웨어 아키텍처 제공.
• 도메인 전문가와 개발자가 표준화된 기술 워크플로우를 통해 공동으로 설명 요구사항을 정의하고 구현할 수 있도록 지원.
• 측정 가능한 개발 시간을 포함한 실제 응용 시나리오를 통해 본 방법론의 실현 가능성과 효율성 입증.

제안 방법

• 이 방법론은 세 단계로 구성되며, 설명 요구사항 분석, 설명 기술적 설계, 설명 검증으로 나뉘며, 본 논문은 두 번째 단계에 집중한다.
• 기술 워크플로우는 도메인 특화된 설명 요구사항을 응용 프로그램 로그 처리 방식을 정의하는 시스템 구성으로 변환한다.
• 응용 프로그램 로그를 분석하고 인과적 의존 관계를 캡처함으로써 결정 과정의 구조화된 기록인 근거 추적을 생성한다.
• 이러한 근거 추적은 질의 가능한 형식으로 저장되어 런타임에 설명 생성에 필요한 데이터 포인트를 추출할 수 있다.
• 재사용 가능한 소프트웨어 아키텍처를 제안하며, 기존 응용 프로그램에 통합되어 설명 서비스를 노출하는 모듈화된 구성 요소로 구성된다.
• 소비자별 특성에 맞는 요구에 기반해 근거 데이터에 대한 질의를 가능하게 하여 동적 개인화된 설명을 지원한다.

실험 결과

연구 질문

• RQ1 어떻게 결정 시스템 설계에 체계적이고 사전적인 방식으로 설명 기능을 통합할 수 있는가?
• RQ2 어떤 기술 워크플로우가 도메인 특화된 설명 요구사항을 실행 가능한 시스템 구성으로 변환할 수 있는가?
• RQ3 응용 프로그램 로그에서 자동으로 근거 추적을 생성하여 설명 생성을 지원할 수 있는가?
• RQ4 어떤 소프트웨어 아키텍처가 다양한 응용 프로그램 간에 재사용 가능하고 확장성 있으며 커스터마이징 가능한 설명 서비스를 가능하게 하는가?
• RQ5 실제 응용 시나리오에서 이 방법론을 사용해 설명 기능을 구현할 경우 실질적인 개발 비용은 얼마인가?

주요 결과

• 실제 응용 시나리오에서 본 방법론을 통해 문장당 최소 2시간 이내로 설명 기능을 개발할 수 있음을 입증하였다.
• 응용 프로그램 로그에서 유도된 근거 추적에 대한 타겟팅된 질의를 가능하게 하여 개인화된 설명 생성을 지원한다.
• 제안된 소프트웨어 아키텍처는 최소한의 맞춤 설정으로 기존 응용 프로그램에 설명 서비스를 모듈화된 방식으로 통합할 수 있다.
• 워크플로우는 고수준의 설명 요구사항을 설명 생성을 위한 실행 가능한 구성으로 성공적으로 변환한다.
• 표준화된 설계 단계 접근 방식을 통해 비표준적 또는 일관성 없는 설명 구현 위험을 감소시킨다.
• 두 가지 응용 시나리오에 대한 평가를 통해 본 방법론이 실용적 구현에 적합하고 확장 가능함을 확인하였다.