[논문 리뷰] Traceability of Deep Neural Networks

Vincent Aravantinos, Frederik Diehl|arXiv (Cornell University)|2018. 12. 17.

Adversarial Robustness in Machine Learning참고 문헌 25인용 수 10

한 줄 요약

이 논문은 안전 기반 시스템에서 딥 뉴럴 네트워크(DNN)의 추적 가능성을 위한 새로운 프레임워크를 제안한다. 기존의 코드와 저수준 요구사항 대신 도메인 커버리지 모델과 결정 리포지터리와 같은 DNN 전용 자료를 도입함으로써, DNN 개발의 시행착오적 성격을 해결하고, 버전화된 모델 추적과 지표 기반 개선을 통해 DO178C 및 ISO 26262와 같은 표준 준수를 위한 실용적인 길을 제시한다. 현재 DNN 관행에서 공식적인 추적 가능성이 부족한 상황임에도 불구하고 이를 보완한다.

ABSTRACT

[Context.] The success of deep learning makes its usage more and more tempting in safety-critical applications. However such applications have historical standards (e.g., DO178, ISO26262) which typically do not envision the usage of machine learning. We focus in particular on \emph{requirements traceability} of software artifacts, i.e., code modules, functions, or statements (depending on the desired granularity). [Problem.] Both code and requirements are a problem when dealing with deep neural networks: code constituting the network is not comparable to classical code; furthermore, requirements for applications where neural networks are required are typically very hard to specify: even though high-level requirements can be defined, it is very hard to make such requirements concrete enough, that one can qualify them of low-level requirements. An additional problem is that deep learning is in practice very much based on trial-and-error, which makes the final result hard to explain without the previous iterations. [Proposed solution.] We investigate which artifacts could play a similar role to code or low-level requirements in neural network development and propose various traces which one could possibly consider as a replacement for classical notions. We also propose a form of traceability (and new artifacts) in order to deal with the particular trial-and-error development process for deep learning.

연구 동기 및 목표

• 안전 기반 응용 분야에서 딥 뉴럴 네트워크(DNN)의 추적 가능성이 부족한 문제를 해결하기 위해, DO178C 및 ISO 26262와 같은 표준이 현재 기계 학습을 지원하지 않는 상황을 고려한다.
• 비결정적이고 반복적인 DNN 개발의 성격을 감안할 때, 기존 소프트웨어 자료의 대체로 사용할 수 있는 DNN 전용 자료를 식별한다.
• 개발 프로세스가 명시되어 있지 않더라도 검증 및 인증을 지원할 수 있는 실용적인, 자료 중심의 추적 가능성 접근 방식을 제안한다.
• 정적 코드나 아키텍처 구조가 아닌, 모델 버전 추적과 점진적인 성능 향상 추적을 통해 추적 가능성을 실현한다.
• 현재 DNN 추적 가능성 접근 방식의 핵심 열린 질문과 한계를 규명함으로써 향후 연구의 기반을 마련한다.

제안 방법

• 저수준 요구사항의 대체로 도메인 커버리지 모델을 도입하여, 고수준 요구사항을 훈련 데이터 분포와 운영 시나리오에 매핑한다.
• 실험적·반복적인 훈련 과정에서 개발자의 결정을 추적하고, 아키텍처나 하이퍼파라미터 변경에 대한 근거를 문서화한다.
• 훈련 중 모든 모델 버전과 함께 성능 지표의 점진적 향상을 추적하여 추적 가능한 발전 경로를 확립한다.
• 전체 개발 프로세스를 규정하는 대신, 실제로 추적 가능한 자료 중심의 실용적 접근 방식을 채택한다.
• 성능 향상의 '더 나은' 정도를 수치화하기 위해 지표를 사용함으로써, 훈련 반복 간의 추적 가능성을 가능하게 한다.
• 복잡성을 관리하고 핵심 추적 가능성 문제에 집중하기 위해, 지도 학습, 고정된 데이터셋, 기능 요구사항에 국한된 범위를 설정한다.

실험 결과

연구 질문

• RQ1 비결정적이고 반복적인 개발 과정을 가진 DNN에 대해 기존 소프트웨어 추적 가능 개념을 어떻게 적응시킬 수 있는가?
• RQ2 어떤 DNN 전용 자료가 기존 코드와 저수준 요구사항의 대체로 사용될 수 있는가?
• RQ3 DNN 훈련의 시행착오적 성격을 안전 기반 인증 프레임워크 내에서 추적 가능하고 정당화 가능한 방식으로 어떻게 처리할 수 있는가?
• RQ4 성능 지표와 결정 리포지터리가 DNN 모델의 추적 가능한 발전 과정에서 어떤 역할을 하는가?
• RQ5 어떻게 도메인 커버리지 모델이 고수준 요구사항을 훈련 데이터와 모델 행동에 효과적으로 연결할 수 있는가?

주요 결과

• 도메인 커버리지 모델은 고수준 기능 요구사항을 데이터 분포와 운영 조건에 매핑함으로써 저수준 요구사항의 실용적인 대체가 될 수 있다.
• 모델 반복 과정 중 개발자의 결정, 예를 들어 아키텍처나 하이퍼파라미터 변경 사항을 추적하는 것은 정적 코드 구조를 추적하는 데 대한 실용적인 대체가 된다.
• 모델 버전과 함께 점진적인 지표 향상 추적은 DNN의 실제 개발 과정을 반영하는 형태의 추적 가능성을 가능하게 한다.
• 요구사항에서 모델 행동에 이르는 체계적이고 감사 가능한 경로를 제공함으로써, 이 접근 방식은 DO178C 및 ISO 26262와 같은 안전 기준 준수를 지원한다.
• 이 방법은 경량적이면서도 유연하여, 사전 규정된 프로세스 요구사항을 피하면서도 검증 가능한 추적 가능성을 유지한다.
• 개념적으로 타당성이 있음에도 불구하고, 논문은 특히 구체적인 지표 정의나 평가 프레임워크가 부족한 상황에서의 성숙도와 명확성의 한계를 인정한다.