[논문 리뷰] A Holistic Assessment of the Reliability of Machine Learning Systems

Anthony Corso, David Karamadian외 3명|arXiv (Cornell University)|2023. 07. 20.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

이 논문은 분포 내 정확도, 분포 이탈에 대한 내성성, 적대적 공격에 대한 내성성, 校정성, 그리고 분포 외 탐지라는 다섯 가지 핵심 성질을 평가하여 기계학습 시스템의 신뢰성 전반을 평가하는 통합 프레임워크를 제안한다. 이 성질들로부터 유도된 복합 신뢰성 점수를 사용하여 500개 이상의 모델을 평가한 결과, 일부 알고리즘 기법이 동시에 여러 차원에서 신뢰성을 향상시킨다.

ABSTRACT

As machine learning (ML) systems increasingly permeate high-stakes settings such as healthcare, transportation, military, and national security, concerns regarding their reliability have emerged. Despite notable progress, the performance of these systems can significantly diminish due to adversarial attacks or environmental changes, leading to overconfident predictions, failures to detect input faults, and an inability to generalize in unexpected scenarios. This paper proposes a holistic assessment methodology for the reliability of ML systems. Our framework evaluates five key properties: in-distribution accuracy, distribution-shift robustness, adversarial robustness, calibration, and out-of-distribution detection. A reliability score is also introduced and used to assess the overall system reliability. To provide insights into the performance of different algorithmic approaches, we identify and categorize state-of-the-art techniques, then evaluate a selection on real-world tasks using our proposed reliability metrics and reliability score. Our analysis of over 500 models reveals that designing for one metric does not necessarily constrain others but certain algorithmic techniques can improve reliability across multiple metrics simultaneously. This study contributes to a more comprehensive understanding of ML reliability and provides a roadmap for future research and development.

연구 동기 및 목표

• 의료, 방위, 교통 등 고위험 분야에서 기계학습 시스템의 신뢰성에 대한 우려가 증가하고 있는 데에 대응하기 위해.
• 일반적으로 별개로 평가되지만 안전한 구현을 위해서는 함께 고려되어야 하는 핵심 신뢰성 성질을 규명하기 위해.
• 여러 신뢰성 지표를 하나의 통합된 종합 평가로 통합하는 정량적 통합 신뢰성 점수를 개발하기 위해.
• 이 새로운 프레임워크를 사용하여 실제 작업에서 최첨단 기계학습 기법의 성능을 평가하고, 상호 보완성과 상충 관계를 이해하기 위해.
• 다양한 차원에서 신뢰성을 향상시키는 알고리즘 접근법을 규명하여 향후 연구 및 개발의 방향도 제시하기 위해.

제안 방법

• 다섯 가지 핵심 신뢰성 성질 정의: 분포 내 정확도, 분포 이탈에 대한 내성성, 적대적 공격에 대한 내성성, 校정성, 그리고 분포 외(OOD) 탐지.
• 각 성질에 대해 정량적 지표 할당: 예를 들어, ID 및 DS에 대한 정확도, FGSM/PGD 공격 하에서의 내성성, 校정성에 대한 ECE, OOD 탐지에 대한 AUC-PR.
• 표준 평가 프로토콜을 사용하여 다섯 가지 지표 각각에 대해 정규화된 성질 점수(0–1) 계산.
• 다섯 개의 정규화된 성질 점수 평균을 통해 종합 신뢰성(HR) 점수 유도.
• 기계학습 설계 단계별로 최첨단 기법들을 조사하고 분류: 데이터, 표현, 목적함수, 아키텍처, 선택, 校정, 모니터링.
• 제안된 지표와 HR 점수를 사용하여 세 가지 실제 작업에서 대표적인 모델들을 훈련 및 평가하여 다양한 방법 간 성능 비교.

Figure 2 : Performance of WILDS pre-trained models under various distribution shifts vs. in-distribution performance. The validation distribution shift and the test distribution shift come from the WILDS benchmark while C1 measures the performance drop from synthetic corruptions [ 209 ] of strength

실험 결과

연구 질문

• RQ1 종합적으로 평가했을 때, 다양한 기계학습 기법들이 다수의 신뢰성 성질에서 어떻게 성능을 내는가?
• RQ2 예를 들어 적대적 내성성 향상과 같은 한 성질의 향상이 다른 성질(예: 校정성 또는 OOD 탐지) 향상과 얼마나 관련이 있는가?
• RQ3 어느 알고리즘 접근법이 상호 보완성보다는 상호 보완성 없이 여러 신뢰성 차원에서 일관되게 향상시키는가?
• RQ4 단일 복합 신뢰성 점수가 다양한 구현 환경에서 모델의 종합적 신뢰성 순위를 효과적으로 정렬할 수 있는가?
• RQ5 개별 신뢰성 지표를 별도로 최적화할 경우, 성능 상충 관계와 상호 보완성은 어떻게 나타나는가?

주요 결과

• 한 성질의 최적화가 다른 성질의 성능을 제약하지는 않으며, 이는 모든 기법에서 상충 관계가 반드시 존재하지는 않음을 시사한다.
• 일부 알고리즘 기법—예를 들어 데이터 증강, 자기지도 학습 미리 훈련, 앙상블 방법—은 동시에 여러 차원에서 신뢰성을 향상시킨다.
• 적대적 내성성이 향상된 모델들은 종종 OOD 탐지 및 校정성도 우수한 편이므로, 공통된 기반 메커니즘이 존재할 가능성이 있다.
• 종합 신뢰성(HR) 점수는 전체 시스템의 신뢰성을 효과적으로 캡처하며, 다양한 모델 및 아키텍처 간 의미 있는 비교를 가능하게 한다.
• 후행 보정 및 도메인 적응 기법은 각각 校정성 및 분포 이탈 내성성 향상에 크게 기여하지만 다른 지표는 떨어뜨리지 않는다.
• 본 연구는 단일 모델 아키텍처나 훈련 방법이 다섯 가지 신뢰성 성질 전반에서 항상 우월하지는 않으며, 이는 다각적 평가의 필요성을 강조한다.

Figure 3 : Comparing distribution-shift accuracy between various distribution shifts.