[논문 리뷰] Certifiable Artificial Intelligence Through Data Fusion

Erik Blasch, Junchi Bin외 1명|arXiv (Cornell University)|2021. 11. 03.

Adversarial Robustness in Machine Learning참고 문헌 41인용 수 5

한 줄 요약

이 논문은 데이터 융합을 통해 신뢰할 수 있는 인공지능을 위한 프레임워크를 제안한다. 다중 소스 데이터(예: 이미지 융합)를 통합하여 AI 시스템의 신뢰성과 성능 한계를 향상시킨다. 설계 및 운영 테스트 방법론을 적용함으로써 성능 지표의 검증이 가능해지며, 이는 물체 인식 정밀도 대 거리의 사례 연구를 통해 입증된다. 이는 정부 및 공공 부문에서 AI 도입에 대한 신뢰를 높이는 데 기여한다.

ABSTRACT

This paper reviews and proposes concerns in adopting, fielding, and maintaining artificial intelligence (AI) systems. While the AI community has made rapid progress, there are challenges in certifying AI systems. Using procedures from design and operational test and evaluation, there are opportunities towards determining performance bounds to manage expectations of intended use. A notional use case is presented with image data fusion to support AI object recognition certifiability considering precision versus distance.

연구 동기 및 목표

• 실제 배포 환경에서 AI 시스템을 인증하는 데 있어 핵심 과제를 해결함 — 특히 안전이 중요한 정부 및 공공 부문 응용 분야에서.
• 현재 AI 인증 관행의 격차를 규명함 — 특히 표준화된 성능 한계와 검증 가능한 지표의 부재.
• 데이터 융합과 테스트 기반 평가를 통해 측정 가능한 성능 기대치를 수립하는 방법론을 개발함.
• 이미지 데이터 융합을 활용한 물체 인식을 다루는 개념적 응용 사례를 통해 신뢰할 수 있는 AI의 실현 가능성을 입증함.
• 기존의 테스트 및 평가(T&E) 절차와 연계하여 AI 개발과 운영 검증 간 격차를 메움.

제안 방법

• 다양한 모odal 또는 다중 센서 이미지 데이터를 융합하는 기법을 활용하여 AI 모델의 입력 품질을 향상시킴.
• 통제된 조건에서 AI 시스템 성능을 정량화하기 위해 공식적인 설계 및 운영 테스트 및 평가(T&E) 절차를 적용함.
• 물체 인식 작업에서 정밀도 및 거리 지표를 사용하여 성능 한계를 정의함으로써 신뢰성 평가.
• 다양한 운영 환경에서 일관성과 재현 가능성을 확보하기 위해 시스템 수준의 검증 프로토콜을 통합함.
• 실제 배포 환경을 시뮬레이션하기 위해 이미지 데이터 융합을 활용한 개념적 응용 사례를 사용하여 인증 프레임워크를 검증함.
• 감사 가능성과 인증 준비성 지원을 위해 데이터 입력에서 성능 결과까지의 추적 가능성을 확보함.

실험 결과

연구 질문

• RQ1 어떻게 데이터 융합을 체계적으로 AI 인증에 통합하여 신뢰성과 신뢰도를 향상시킬 수 있는가?
• RQ2 운영 환경에서 AI 시스템을 인증하기 위해 가장 효과적인 성능 지표는 무엇인가?
• RQ3 기존의 테스트 및 평가(T&E) 방법론은 얼마나 적절하게 AI 기반 시스템을 인증하기 위해 재구성될 수 있는가?
• RQ4 이미지 데이터 융합은 다양한 조건 하에서 AI 물체 인식의 정밀도와 강건성에 어떤 영향을 미치는가?
• RQ5 공공 부문 응용 분야에서 AI 시스템의 검증 가능한 성능 한계를 설정하는 데 있어 핵심 과제는 무엇인가?

주요 결과

• 데이터 융합은 입력 데이터 품질 향상으로 인해 특히 장거리에서 AI 물체 인식의 정밀도를 크게 향상시킴.
• 테스트 및 평가(T&E) 절차의 통합은 AI 시스템의 검증 가능한 성능 한계 설정을 가능하게 함.
• 개념적 응용 사례를 통해 정밀도 대 거리와 같은 성능 지표가 신뢰성 있게 측정되고 인증에 활용될 수 있음을 입증함.
• 제안된 프레임워크는 데이터 입력에서 시스템 출력까지의 추적 가능성을 지원하여 감사 가능성을 확보하고 인증 기준 준수를 가능하게 함.
• 이 방법론은 정부 및 공공 부문 응용 분야에서 AI 시스템을 인증하기 위한 체계적인 경로를 제공하며, 배포 시 불확실성을 감소시킴.
• 이 접근법은 다양한 AI 응용 분야에 적응 가능하며, 추가적인 데이터 모odal리티와 성능 기준을 포함하도록 확장 가능함.