[논문 리뷰] AI Assessment in Practice: Implementing a Certification Scheme for AI Trustworthiness (Academic Track)

Frischknecht-Gruber, Carmen, Denzel, Philipp외 7명|arXiv (Cornell University)|2022. 01. 14.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

이 논문은 구성 가능하고 재현 가능하며 견고한 머신러닝 워크플로우를 지원하는 두 가지 오픈소스 소프트웨어 라이브러리—hydra-zen과 rAI-toolbox—를 소개한다. 이 도구들은 구성 관리 및 Hypothesis를 통한 성질 기반 테스팅을 통해 Hydra를 활용해 신뢰성 있는 AI 엔지니어링을 실현하며, 최소한의 코드 오버헤드로 스케일러블한 적대적 견고성 평가 및 설명 가능 AI의 구현을 보여준다.

ABSTRACT

Responsible Artificial Intelligence (AI) - the practice of developing, evaluating, and maintaining accurate AI systems that also exhibit essential properties such as robustness and explainability - represents a multifaceted challenge that often stretches standard machine learning tooling, frameworks, and testing methods beyond their limits. In this paper, we present two new software libraries - hydra-zen and the rAI-toolbox - that address critical needs for responsible AI engineering. hydra-zen dramatically simplifies the process of making complex AI applications configurable, and their behaviors reproducible. The rAI-toolbox is designed to enable methods for evaluating and enhancing the robustness of AI-models in a way that is scalable and that composes naturally with other popular ML frameworks. We describe the design principles and methodologies that make these tools effective, including the use of property-based testing to bolster the reliability of the tools themselves. Finally, we demonstrate the composability and flexibility of the tools by showing how various use cases from adversarial robustness and explainable AI can be concisely implemented with familiar APIs.

연구 동기 및 목표

• 표준 머신러닝 도구를 넘어서 신뢰할 수 있고 설명 가능하며 재현 가능한 책임감 있는 AI 시스템을 구축하는 데 있어 점점 커지는 과제를 해결하기 위해.
• 파이썬 중심의 Hydra 통합 워크플로우를 통해 복잡한 AI 응용 프로그램에서의 기술 부채를 줄이고 구성 관리를 간소화하기 위해.
• 고급 머신러닝 기법에 대한 첫 번째급 지원을 통해 모델의 견고성과 설명 가능성에 대한 스케일러블하고 조합 가능한 평가를 가능하게 하기 위해.
• Hypothesis를 통한 성질 기반 테스팅을 통해 도구의 정확성을 보장하고 다양한 입력 공간에서의 정확성 확보를 위해.

제안 방법

• hydra-zen은 `builds`, `make_config` 등의 파이썬 네이티브 구성 빌더를 통해 YAML 기반 구성 파일을 자동으로 생성하고 검증함으로써 Hydra 프레임워크를 확장한다.
• rAI-toolbox는 적대적 훈련, 견고성 평가, 설명 가능성 기법을 위한 모듈식이고 PyTorch 호환성 있는 컴포넌트를 제공하며, 조합 가능한 API를 제공한다.
• 두 라이브러리 모두 Hypothesis 라이브러리를 통한 성질 기반 테스팅을 활용하여 다양한 테스트 입력을 자동 생성하고, 동일성 유지성과 같은 기능적 인variants를 검증한다.
• 실험은 `multirun` 지원 기능이 있는 `launch`를 통해 실행되며, 모델 유형과 하이퍼파라미터(예: 적대적 에프실론 값)를 스윕한다.
• 프레임워크는 PyTorch Lightning 및 데이터 병렬 훈련(Distributed Data Parallel, DDP)과 통합되어 GPU 간 분산 실행을 지원한다.
• 견고성 곡선은 증가하는 노이즈 크기(ϵ)에 따라 모델을 평가함으로써 생성되며, 저장된 구성 파일을 통해 결과를 기록하고 재현 가능하게 한다.

실험 결과

연구 질문

• RQ1 복잡하고 계층적인 머신러닝 워크플로우에서 AI 시스템을 어떻게 더 구성 가능하고 재현 가능하게 만들 수 있는가?
• RQ2 성질 기반 테스팅이 AI 평가 도구의 신뢰성 향상에 얼마나 기여할 수 있는가?
• RQ3 적대적 견고성 및 설명 가능성 기법은 주로 사용되는 머신러닝 프레임워크인 PyTorch와 자연스럽게 조합될 수 있는가?
• RQ4 구성 관리는 대규모 AI 개발에서 기술 부채를 어떻게 줄일 수 있는가?
• RQ5 스케일러블하고 조합 가능한 도구 체계는 책무 있는 AI 실천의 실용적 도입에 어떤 영향을 미치는가?

주요 결과

• hydra-zen 라이브러리는 타입 안정성 있는 파이썬 중심의 구성 생성을 통해 복잡한 AI 시스템의 완전한 구성 및 재현 가능성을 실현하며, 수동적인 YAML 유지를 줄이고 기술 부채를 감소시킨다.
• rAI-toolbox는 익숙한 PyTorch API를 활용해 적대적 견고성 및 설명 가능 AI 기법을 간결하게 구현할 수 있으며, 최소한의 부가 코드를 요구한다.
• Hypothesis를 활용한 성질 기반 테스팅은 클리핑 연산의 동일성 유지성과 같은 기능적 인variants를 성공적으로 검증하여 다양한 입력에서 도구의 신뢰성을 향상시켰다.
• CIFAR-10 데이터셋에서 표준 모델과 견고한 모델의 견고성 곡선은 다섯 개의 에프실론 값(0.0에서 2.0)에 대해 생성되었으며, 증가하는 노이즈에 따라 성능 저하가 뚜렷하게 드러났다.
• 프레임워크는 PyTorch DDP를 통해 분산 훈련을 지원하며, 구성 파일과 하이퍼파라미터 설정에 대한 다중 실행 스윕을 통해 완전한 재현 가능성을 확보한다.
• 이 도구들은 구성 파일을 YAML 형식으로 저장함으로써 스케일러블하고 조합 가능하며 추적 가능한 AI 시스템 평가를 가능하게 하며, 완전한 재현 가능성과 감사 가능성 확보를 지원한다.