[논문 리뷰] Engineering problems in machine learning systems

Hiroshi Kuwajima, Hirotoshi Yasuoka외 1명|arXiv (Cornell University)|2019. 04. 01.

Adversarial Robustness in Machine Learning참고 문헌 56인용 수 5

한 줄 요약

이 논문은 자동운전과 같은 안전이 중요한 기계학습 시스템에서 핵심 공학 과제를 특정하고 분류한다—특히 요구사항 및 설계 사양 부족, 해석 가능성, 내구성 문제에 초점을 맞춘다. 이는 유추적 요구사항과 데이터 기반 학습을 연결하는 프레임워크를 제안하며, 테스트 데이터를 요구사항으로, 학습 데이터를 설계로 간주함으로써, 열악한 요구사항 사양과 낮은 내구성이 기존의 품질 모델(SQuARE)을 심각하게 약화시킨다는 점을 드러낸다.

ABSTRACT

Fatal accidents are a major issue hindering the wide acceptance of safety-critical systems that employ machine learning and deep learning models, such as automated driving vehicles. In order to use machine learning in a safety-critical system, it is necessary to demonstrate the safety and security of the system through engineering processes. However, thus far, no such widely accepted engineering concepts or frameworks have been established for these systems. The key to using a machine learning model in a deductively engineered system is decomposing the data-driven training of machine learning models into requirement, design, and verification, particularly for machine learning models used in safety-critical systems. Simultaneously, open problems and relevant technical fields are not organized in a manner that enables researchers to select a theme and work on it. In this study, we identify, classify, and explore the open problems in engineering (safety-critical) machine learning systems --- that is, in terms of requirement, design, and verification of machine learning models and systems --- as well as discuss related works and research directions, using automated driving vehicles as an example. Our results show that machine learning models are characterized by a lack of requirements specification, lack of design specification, lack of interpretability, and lack of robustness. We also perform a gap analysis on a conventional system quality standard SQuARE with the characteristics of machine learning models to study quality models for machine learning systems. We find that a lack of requirements specification and lack of robustness have the greatest impact on conventional quality models.

연구 동기 및 목표

• 안전이 중요한 기계학습 시스템, 특히 자율주행 분야에서 표준화된 공학 프로세스의 부족을 해결하기 위해.
• 기계학습 모델의 요구사항, 설계, 검증 분야에서 열려 있는 문제들을 특정하고 분류하기 위해.
• 기존의 시스템 품질 모델(SQuARE 등)이 기계학습 특유의 특성—요구사항 부족, 내구성 부족 등—를 충분히 반영하지 못하는 이유를 분석하기 위해.
• 유추적 요구사항을 데이터 기반 학습과 연결하는 개념적 프레임워크를 제안하기 위해.
• 기계학습 시스템을 위한 표준화된 품질 모델과 공학 관행 개발을 이끌기 위한 향후 연구 방향을 제시하기 위해.

제안 방법

• 테스트 데이터를 요구사항 사양의 대체로 삼고 학습 데이터를 설계 사양으로 간주하는 이상화된 학습 프로세스를 제안한다.
• 기계학습 시스템에 V-모델 개념을 적용하여 요구사항을 데이터를 통해 검증으로 연결한다.
• SQuARE 품질 모델과 기계학습 시스템 특성 간의 격차 분석을 수행하여 핵심 불일치 사항을 규명한다.
• 열려 있는 문제들을 요구사항 부족, 설계 부족, 해석 가능성, 내구성의 네 가지 범주로 분류한다.
• 기계학습 시스템의 데이터 품질을 분석하며, 테스트 데이터 품질(유추적 요구사항)과 학습 데이터 품질(설계 사양)을 구분한다.
• 계층적 검증 전략과 SQuARE를 초월한 표준화된 품질 모델을 포함한 향후 방향을 제안한다.

실험 결과

연구 질문

• RQ1 기계학습 시스템에서 유추적 요구사항을 데이터 기반 학습과 어떻게 의미 있게 연결할 수 있는가?
• RQ2 안전이 중요한 시스템에서 기계학습 모델의 요구사항과 설계를 규정하는 데 있어 핵심 공학 과제는 무엇인가?
• RQ3 왜 기존의 시스템 품질 모델(SQuARE 등)이 기계학습 시스템을 충분히 평가하지 못하는가?
• RQ4 테스트 데이터와 학습 데이터의 품질이 기계학습 시스템의 신뢰성과 검증 가능성에 어떤 영향을 미치는가?
• RQ5 표준화된 평가를 위한 기계학습 시스템에 필수적인 품질 특성과 지표는 무엇인가?

주요 결과

• 기계학습 모델은 공식적인 요구사항 사양의 부족으로 인해 추적성과 검증이 어려운 기본적 문제를 겪는다.
• 기계학습 시스템에서 설계 사양의 부재는 모델 개발의 일관성과 재현 가능성을 확보하는 데 어려움을 초래한다.
• 해석 가능성과 내구성은 특히 드문 경우나 분포 외 데이터 처리에서 주요 과제이다.
• 불확실성과 극히 낮은 확률 사건 처리 능력이 부족한 내구성의 부재가, SQuARE와 같은 기존의 품질 모델에 가장 큰 부정적 영향을 미친다.
• 특히 사전 조건 및 功能 세부 사항 부족으로 인한 요구사항 사양 격차는 표준 품질 모델의 효과성을 크게 떨어뜨린다.
• 개발 데이터(테스트 및 학습 데이터)는 품질 모델에 공식적으로 포함되어야 하며, 그 품질이 직접적으로 시스템의 신뢰성과 검증 결과에 영향을 미친다.