[논문 리뷰] Priority Quality Attributes for Engineering AI-enabled Systems

Lena Pons, İpek Özkaya|arXiv (Cornell University)|2019. 10. 15.

Manufacturing Process and Optimization참고 문헌 4인용 수 8

한 줄 요약

이 논문은 공공부문, 특히 헬스케어 분야에서 인공지능 기반 시스템을 공학화할 때 보안, 개인정보 보호, 데이터 중심성, 지속 가능성, 설명 가능성 등이 우선 품질 특성임을 제안한다. 이 특성들은 데이터 의존성, 모델 드리프트, 악성 공격으로 인한 위험을 관리하기 위해 체계적으로 시스템 아키텍처에 통합되어야 하며, 체계적인 인공지능 공학 관행을 통해 신뢰할 수 있고 감사 가능하며 규제 준수 가능한 인공지능 시스템을 구현할 수 있다.

ABSTRACT

Deploying successful software-reliant systems that address their mission goals and user needs within cost, resource, and expected quality constraints require design trade-offs. These trade-offs dictate how systems are structured and how they behave and consequently can effectively be evolved and sustained. Software engineering practices address this challenge by centering system design and evolution around delivering key quality attributes, such as security, privacy, data centricity, sustainability, and explainability. These concerns are more urgent requirements for software-reliant systems that also include AI components due to the uncertainty introduced by data elements. Moreover, systems employed by the public sector exhibit unique design time and runtime challenges due to the regulatory nature of the domains. We assert that the quality attributes of security, privacy, data centricity, sustainability, and explainability pose new challenges to AI engineering and will drive the success of AI-enabled systems in the public sector. In this position paper, we enumerate with examples from healthcare domain concerns related to these requirements to mitigate barriers to architecting and fielding AI-enabled systems in the public sector.

연구 동기 및 목표

• 공공부문 분야, 특히 헬스케어와 같은 분야에서 신뢰성 있고 안전하며 규제 준수 가능한 인공지능 기반 시스템을 구현하는 데 증가하는 도전 과제를 해결하기 위해.
• 데이터 의존성, 모델 불확실성, 악성 위협으로 인한 위험을 완화하기 위해 필요한 품질 특성을 식별하고 우선순위를 정하기 위해.
• 소프트웨어 아키텍처를 임무 핵심 품질 특성과 일치시킴으로써 규제 기대와 기술 현실 사이의 격차를 메우기 위해.
• 시스템 신뢰성과 규제 준수를 보장하기 위해 아키텍처 설계와 검증 가능한 품질 특성에 기반한 인공지능 공학 관행을 홍보하기 위해.

제안 방법

• 보안, 개인정보 보호, 데이터 중심성, 지속 가능성, 설명 가능성의 다섯 가지 우선 품질 특성에 초점을 맞춘 프레임워크를 제안한다.
• 실제 도전 과제와 설계 영향을 설명하기 위해 특히 소프트웨어로서의 의료기기(SaMD)에서의 사례 연구를 활용한다.
• 의존성 분석, 공격 표면 노출, 다각도 시스템 분석을 지원하기 위해 아키텍처 모델링을 강조한다.
• 특히 규제 제약 조건 하에서 보안, 개인정보 보호, 유지보수성을 향상시키기 위해 데이터와 알고리즘을 분리하는 것을 주장한다.
• 소프트웨어 공학 원칙을 인공지능 특화 문제, 예를 들어 모델 드리프트, 데이터 분포 이동, 악성 예제 등과 통합한다.
• 규제, 기술, 영역 전문 지식 간의 일치를 위해 표준화된 어휘와 반복 가능한 관행을 도입할 것을 촉구한다.

실험 결과

연구 질문

• RQ1 데이터 및 모델 취약성에 민감한 인공지능 시스템에서 보안과 개인정보 보호를 체계적으로 확보할 수 있는 방법은 무엇인가?
• RQ2 변하는 데이터 분포 상황에서도 시스템 무결성을 유지하기 위해 데이터 중심 위험을 관리하기 위해 필요한 아키텍처 패턴과 설계 원칙은 무엇인가?
• RQ3 설명 가능성과 지속 가능성은 어떻게 인공지능 시스템 설계에 통합되어야 하며, 이는 규제 요구사항과 장기 운영 요구사항을 충족하기 위해 필요한가?
• RQ4 기존 소프트웨어 공학 관행은 공공부문 시스템에서 특히 발생하는 인공지능 구성요소의 새로운 위험을 어떻게 충족하지 못하는가?
• RQ5 규제 집행과 이해관계자 신뢰를 지원하기 위해 인공지능 시스템의 품질 특성을 어떻게 정량화하고 검증할 수 있는가?

주요 결과

• 인공지능 시스템의 보안과 개인정보 보호는 데이터 처리와 깊이 연결되어 있으며, 데이터 중심 설계로 인해 전통적인 추상화 경계가 약화되어 공격 표면이 증가한다.
• 데이터, 훈련된 모델, 배포된 모델 간의 일치하지 않는 상태로 인해 모델 드리프트가 발생하면 고비용 실패가 발생할 수 있으며, 이는 시스템 장애와 잘못된 추론을 초래할 수 있다.
• 법률, 통계, 소프트웨어 공학 분야 간의 공통 이해 부족으로 인해 규제 기관은 인공지능 시스템 평가에 어려움을 겪는다.
• 현재 사용되는 개인정보 보존 기법 중 하나인 동형 암호화는 인공지능 시스템에서 실용적으로 사용하기에 너무 계산 비용이 높은 편이다.
• 식품의약국(FDA)이 '잠금된'(정의된) 알고리즘—결정론적이며 변화하지 않는—것을 선호하는 것은 규제 기준을 충족하기 위해 더 예측 가능하고 검증 가능한 인공지능 시스템이 필요하다는 신호이다.
• 교차적 요구사항 분석과 인공지능 시스템 위험 및 행동에 대한 다각도 분석을 가능하게 하기 위해 아키텍처 모델링이 필수적이다.