[논문 리뷰] Strategy to Increase the Safety of a DNN-based Perception for HAD Systems

Timo Sämann, Peter Schlicht외 1명|arXiv (Cornell University)|2020. 02. 20.

Adversarial Robustness in Machine Learning참고 문헌 32인용 수 11

한 줄 요약

이 논문은 고도로 자동화된 주행(HAD) 시스템에서 딥 뉴럴 네트워크(DNN) 기반 인식의 안전성을 향상하기 위해 종합적인 프레임워크를 제안한다. DNN의 부족함을 일반화 부족, 내구성 부족, 설명 가능성 부족, 타당성 부족, 효율성 부족의 다섯 유형으로 분류하고, 이를 유전적 요인과 획득적 요인과 연결한다. DNN 개발 생애주기 전반에 걸쳐 안전 메커니즘을 도입하고, 효과성을 측정하기 위한 다차원 평가 지표 체계를 정의하여 안전 확보 사례의 벤치마킹과 통계적 검증을 가능하게 한다.

ABSTRACT

Safety is one of the most important development goals for highly automated driving (HAD) systems. This applies in particular to the perception function driven by Deep Neural Networks (DNNs). For these, large parts of the traditional safety processes and requirements are not fully applicable or sufficient. The aim of this paper is to present a framework for the description and mitigation of DNN insufficiencies and the derivation of relevant safety mechanisms to increase the safety of DNNs. To assess the effectiveness of these safety mechanisms, we present a categorization scheme for evaluation metrics.

연구 동기 및 목표

• 고도로 자동화된 주행(HAD) 시스템에서 전통적인 안전 방법이 부족한 DNN 기반 인식의 안전 확보라는 핵심 과제를 해결하기 위해.
• 불안전한 행동을 유도하는 DNN의 내재적 및 개발 과정에서 유도된 약점(부족함)을 식별하고 분류하기 위해.
• 이러한 부족함을 완화하기 위해 DNN 개발 생애주기 전반에 걸쳐 체계적인 안전 메커니즘 세트를 제안하기 위해.
• 안전 메커니즘의 효과성을 측정하고 안전 확보 사례의 논거를 뒷받침하기 위해 구조화된 평가 지표 프레임워크를 수립하기 위해.
• 측정 가능하고 추적 가능하며 감사 가능한 기준을 통해 자동차 주행의 AI 인식 분야에서의 산업적 도입과 표준화를 가능하게 하기 위해.

제안 방법

• 입력, 내부 기능, 출력 기반으로 DNN의 부족함을 일반화 부족, 내구성 부족, 설명 가능성 부족, 타당성 부족, 효율성 부족의 다섯 유형으로 분류하기 위해.
• 자연 대 양육의 비유를 사용하여 부족함의 근본 원인을 '유전적'(딥 러닝에 내재된 것)과 '획득적'(설계 및 훈련 선택으로 인한 것)으로 분류하기 위해.
• 데이터 정제, 모델 아키텍처 설계, 훈련 절차, 후처리 기법을 포함한 DNN 생애주기 전반에 걸친 안전 메커니즘 제안하기 위해.
• 메커니즘 효과성을 평가하기 위한 네 수준의 평가 지표 체계 도입: 예측 품질, 안전성, 효율성, 데이터 품질 지표.
• 내부 DNN 구조 기반 안전 지표(예: 불확실성 맵, 주의 히트맵)를 사용하여 안전 핵심 행동의 통계적 검증을 가능하게 하기 위해.
• 지표를 확보 사례 프레임워크에 통합하여 정의된 운영 조건 하에서 안전 목표 달성에 대한 증거를 제공하기 위해.

실험 결과

연구 질문

• RQ1 HAD 인식 시스템에서 DNN의 부족함은 어떻게 체계적으로 분류하고 그 근본 원인으로 추적할 수 있는가?
• RQ2 DNN 개발 생애주기 동안 내재적 및 획득적 DNN 약점을 완화하기 위해 적용할 수 있는 안전 메커니즘은 무엇인가?
• RQ3 안전 메커니즘의 효과성을 정량적으로 측정하기 위해 평가 지표는 어떻게 정의할 수 있는가?
• RQ4 내부 DNN 표현 방식(예: 불확실성 맵)은 통계적으로 타당한 안전 평가를 가능하게 하기 위해 어떤 역할을 하는가?
• RQ5 제안된 프레임워크는 DNN 기반 HAD 시스템의 인증 및 산업적 구현을 위한 안전 확보 사례 제작을 어떻게 지원하는가?

주요 결과

• 논문은 HAD 인식에서 고장의 주요 원인이 되는 다섯 가지 핵심 DNN 부족함—일반화 부족, 내구성 부족, 설명 가능성 부족, 타당성 부족, 효율성 부족—을 규명하였다.
• DNN 부족함은 딥 러닝에 내재된 '유전적' 특성과 '획득적' 원인(예: 균형 잡히지 않은 데이터셋, 열악한 토폴로지 설계)으로부터 기인하며, 이에 대응하는 대응 전략이 필요하다는 점을 입증하였다.
• 데이터 정제, 모델 설계, 훈련, 후처리를 포함한 DNN 생애주기 전반에 걸친 포괄적인 안전 메커니즘 세트를 제안하였다.
• 예측 품질, 안전성, 효율성, 데이터 품질의 네 가지 유형의 평가 지표를 포함하는 평가 지표 프레임워크를 수립하여 안전 향상의 측정 가능하고 비교 가능한 평가를 가능하게 하였다.
• 내부 DNN 출력 기반 안전 지표(예: 불확실성 맵)는 안전 핵심 행동의 통계적 검증에 필수적이지만, 현재 실무에서는 여전히 연구가 부족한 영역임을 규명하였다.
• 프레임워크는 산업 표준화 및 안전 확보 사례 개발을 위한 기초 전략을 제공하며, 향후 연구는 지표의 정교화 및 부족함과의 직접 연결 고리를 강화하는 데 초점이 맞춰질 것이다.