[논문 리뷰] Evaluating a Methodology for Increasing AI Transparency: A Case Study

David Piorkowski, John R. Richards외 1명|arXiv (Cornell University)|2022. 01. 24.

Artificial Intelligence in Healthcare and Education인용 수 4

한 줄 요약

이 논문은 인공지능(AI) 개발에서 특정 이해관계자 요구사항을 충족하는 맞춤형 문서 템플릿인 AI FactSheets를 제작하기 위한 사용자 중심 방법론을 평가한다. 이 방법론을 통해 전문가가 아닌 이들이 공동으로 의료 분야 AI 모델을 위한 재사용 가능한 도메인 특화 FactSheets를 설계할 수 있었으며, 그 결과 높은 품질의 소비자 중심 문서가 탄생하여 이전의 관행을 뛰어넘었다.

ABSTRACT

In reaction to growing concerns about the potential harms of artificial intelligence (AI), societies have begun to demand more transparency about how AI models and systems are created and used. To address these concerns, several efforts have proposed documentation templates containing questions to be answered by model developers. These templates provide a useful starting point, but no single template can cover the needs of diverse documentation consumers. It is possible in principle, however, to create a repeatable methodology to generate truly useful documentation. Richards et al. [25] proposed such a methodology for identifying specific documentation needs and creating templates to address those needs. Although this is a promising proposal, it has not been evaluated. This paper presents the first evaluation of this user-centered methodology in practice, reporting on the experiences of a team in the domain of AI for healthcare that adopted it to increase transparency for several AI models. The methodology was found to be usable by developers not trained in user-centered techniques, guiding them to creating a documentation template that addressed the specific needs of their consumers while still being reusable across different models and use cases. Analysis of the benefits and costs of this methodology are reviewed and suggestions for further improvement in both the methodology and supporting tools are summarized.

연구 동기 및 목표

• 다양한 이해관계자의 요구를 충족하는 문서화를 통해 증가하는 사회적 AI 투명성 수요에 부응한다.
• 모든 사용자에게 동일한 템플릿을 적용하는 방식이 특정 소비자 요구사항을 충족하지 못하는 한계를 극복한다.
• 소비자 요구사항에 맞추어진 동시에 다양한 모델 간 재사용이 가능한 FactSheets를 생성하기 위한 사용자 중심 방법론을 평가한다.
• 실제 의료 AI 개발 환경에서의 방법론의 실용적 사용성과 인식된 가치를 평가한다.

제안 방법

• AI 모델 제작자와 소비자의 문서화 요구사항을 파악하기 위해 사용자 중심 설계 방법론을 적용한다.
• 콘텐츠 제작자와 소비자 간 중개자 역할을 수행할 FactSheet 팀(FS 팀)을 구성한다.
• 반복적인 수요 확보 기법을 활용해 소비자 요구사항을 체계적인 FactSheet 템플릿 필드로 정형화한다.
• 제작자와 소비자와 협업하여 FactSheet 템플릿을 개선하고 완성함으로써 관련성과 정확성을 확보한다.
• 의료 분야에 특화되면서도 다양한 AI 모델과 사용 사례에 걸쳐 재사용 가능한 방식으로 템플릿을 설계한다.
• 템플릿의 완전성, 명확성 및 이해관계자 기대에의 부합도 향상을 위해 피드백 루프를 통합한다.

실험 결과

연구 질문

• RQ1 사용자 중심 설계에 대한 공식 교육을 이수하지 않은 FS 팀 구성원들도 방법론을 성공적으로 적용할 수 있는가?
• RQ2 생성된 FactSheets가 다양한 소비자의 구체적 문서화 요구사항을 얼마나 잘 충족하는가?
• RQ3 제작자와 소비자 시각에서 본 방법론의 인식된 이점과 비용은 무엇인가?

주요 결과

• 사용자 중심 설계에 대한 사전 교육 없이도 FS 팀 구성원들이 소비자 요구사항을 효과적으로 파악하고 효과적인 FactSheet 템플릿을 제작하는 데 성공했다.
• 생성된 FactSheets는 높은 품질로 평가되었으며, 이는 이전의 문서화 관행보다 크게 향상된 것으로, 참가자 17명 중 16명이 개선된 점을 인정했다.
• 생성된 FactSheets는 의료 AI 분야의 도메인 특화 요구사항을 충족하면서도, 서로 다른 여러 모델에 걸쳐 재사용 가능한 정도로 일반화되어 있었다.
• 소비자들은 FactSheets가 자신의 요구사항을 효과적으로 충족시켰다고 평가했지만, 일부 문서 누락 사항이 발견되어 맞춤형 문서화의 필요성을 재확인했다.
• 참가자들은 중앙집중식이고 권위 있는 문서화 및 모델 사실에 대한 심층적 탐색 지원 등의 주요 이점을 지적했으며, 한 명의 참가자는 이 방법론을 '우리가 하고 있는 일의 핵심 부분'이라고 평가했다.
• 초기 요구사항 수렴 및 반복 작업에 소요되는 노력에도 불구하고, 명확성 향상, 추적 가능성 확보, 이해관계자 간 일치도 향상 등의 방법론적 이점이 비용을 상회함을 일관되게 보고했다.