[논문 리뷰] A.I. Robustness: a Human-Centered Perspective on Technological Challenges and Opportunities

Andrea Tocchetti, Lorenzo Corti외 5명|arXiv (Cornell University)|2022. 10. 17.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 다양한 AI 분야에서 흩어진 용어를 통합함으로써 인간 중심의 프레임워크를 제시하여 AI의 견고성에 대한 이해를 돕는다. 세 가지 분류 체계—기계 학습 파이프라인 단계별 견고성, 모델/과제 특화 견고성, 평가 방법론—를 도입하여 인간이 견고성 평가 및 향상에 관여하는 중요성을 강조하면서 신뢰할 수 있는 AI 시스템을 위한 핵심 연구 격차와 향후 방향성을 밝히고 있다.

ABSTRACT

Despite the impressive performance of Artificial Intelligence (AI) systems, their robustness remains elusive and constitutes a key issue that impedes large-scale adoption. Robustness has been studied in many domains of AI, yet with different interpretations across domains and contexts. In this work, we systematically survey the recent progress to provide a reconciled terminology of concepts around AI robustness. We introduce three taxonomies to organize and describe the literature both from a fundamental and applied point of view: 1) robustness by methods and approaches in different phases of the machine learning pipeline; 2) robustness for specific model architectures, tasks, and systems; and in addition, 3) robustness assessment methodologies and insights, particularly the trade-offs with other trustworthiness properties. Finally, we identify and discuss research gaps and opportunities and give an outlook on the field. We highlight the central role of humans in evaluating and enhancing AI robustness, considering the necessary knowledge humans can provide, and discuss the need for better understanding practices and developing supportive tools in the future.

연구 동기 및 목표

• 다양한 도메인과 응용 분야 간 AI 견고성의 일관되지 않은 용어와 해석을 조율하는 것.
• AI 시스템의 대규모 배포를 저해하는 견고성 분야의 핵심 도전 과제를 특정하고 체계화하는 것.
• 자동화된 메트릭을 넘어서 인간 전문 지식이 AI 견고성 평가 및 향상에 핵심적인 역할을 하는 것을 강조하는 것.
• 기계 학습 라이프사이클 전반과 특정 모델 아키텍처에 걸쳐 기존의 견고성 방법론을 맵핑하는 것.
• 공정성, 해석 가능성, 효율성과 같은 다른 신뢰성 특성과의 견고성 간 트레이드오프를 부각하는 것.

제안 방법

• 다양한 도메인, 모델 아키텍처, 응용 맥락에서의 최근 AI 견고성 문헌에 대한 체계적 서베이.
• 서로 연관된 세 가지 분류 체계 개발: (1) 기계 학습 파이프라인 단계별 견고성(데이터, 학습, 추론), (2) 모델 아키텍처 및 과제 기반 견고성, (3) 견고성 평가 방법론.
• 공정성, 해석 가능성, 효율성과 같은 다른 AI 신뢰성 특성과의 견고성 간 트레이드오프 분석.
• 사례 연구 및 전문가 인사이트를 통한 인간-중심 관점의 통합: 견고성 평가에 있어 인간의 역할.
• 현재 견고성 평가 관행의 격차를 규명하고 인간 중심의 도구 및 프레임워크의 필요성 제기.
• 연구 결과를 통합된 개념적 프레임워크로 정리하여 향후 신뢰할 수 있는 AI 개발 및 연구를 이끌 가이드라인 제공.

실험 결과

연구 질문

• RQ1 다양한 도메인 간 AI 견고성의 일관되지 않은 용어와 해석을 어떻게 조율할 수 있는가?
• RQ2 기계 학습 파이프라인의 각 단계에서 발생하는 주요 견고성 도전 과제는 무엇인가?
• RQ3 다양한 모델 아키텍처와 AI 과제 간 견고성은 어떻게 달라지는가?
• RQ4 AI 시스템에서 견고성과 다른 신뢰성 특성(공정성, 해석 가능성, 효율성 등) 간의 트레이드오프는 무엇인가?
• RQ5 인간 전문 지식은 AI 견고성 평가 및 향상에 어떻게 기여할 수 있는가?

주요 결과

• 논문은 AI 견고성 연구 분야에서 뚜렷한 용어 분열 현상을 규명하며, 도메인 및 응용 분야 간 정의의 다양성을 확인한다.
• 견고성은 수명주기 관점에서 가장 효과적으로 접근되며, 데이터 준비, 모델 학습, 추론 단계에서 각각 다른 도전 과제가 나타난다.
• 딥 뉴럴 네트워크에서는 특히 비전 및 NLP 과제에서 적대적 예제나 분포 이탈에 민감하여 모델 특화 견고성 문제들이 빈번히 발생한다.
• 평가 방법론은 종종 인간의 인지적 편향과 인지 능력을 간과하여 실제 환경에서 견고성의 과대평가를 초래한다.
• 특히 자원 제약이 있는 환경에서는 견고성과 모델 효율성 또는 해석 가능성 간 강한 트레이드오프가 존재한다.
• 자동화된 메트릭이 놓치는 엣지 케이스나 맥락 기반 실패를 식별하기 위해 인간의 참여가 견고성 평가뿐 아니라 향상에도 필수적이다.