[논문 리뷰] DeepCruiser: Automated Guided Testing for Stateful Deep Learning Systems

Xiaoning Du, Xiaofei Xie외 4명|arXiv (Cornell University)|2018. 12. 13.

Adversarial Robustness in Machine Learning참고 문헌 31인용 수 33

한 줄 요약

이 논문은 상태 기반 딥러닝 시스템, 특히 RNN 기반 음성 인식 모델을 대상으로 하는 커버리지 유도 자동 테스팅 프레임워크인 DeepCruiser을 제안한다. RNN을 마르코프 결정 과정(MDP)으로 모델링하고, 상태 전이 기반의 새로운 테스트 커버리지 기준을 정의함으로써, 체계적으로 결함을 드러내는 변형 테스트 입력을 생성한다. 이는 최신 음성 인식(ASR) 시스템의 신뢰성 향상에 있어 뚜렷한 효과를 보였다.

ABSTRACT

Deep learning (DL) defines a data-driven programming paradigm that automatically composes the system decision logic from the training data. In company with the data explosion and hardware acceleration during the past decade, DL achieves tremendous success in many cutting-edge applications. However, even the state-of-the-art DL systems still suffer from quality and reliability issues. It was only until recently that some preliminary progress was made in testing feed-forward DL systems. In contrast to feed-forward DL systems, recurrent neural networks (RNN) follow a very different architectural design, implementing temporal behaviors and memory with loops and internal states. Such stateful nature of RNN contributes to its success in handling sequential inputs such as audio, natural languages and video processing, but also poses new challenges for quality assurance. In this paper, we initiate the very first step towards testing RNN-based stateful DL systems. We model RNN as an abstract state transition system, based on which we define a set of test coverage criteria specialized for stateful DL systems. Moreover, we propose an automated testing framework, DeepCruiser, which systematically generates tests in large scale to uncover defects of stateful DL systems with coverage guidance. Our in-depth evaluation on a state-of-the-art speech-to-text DL system demonstrates the effectiveness of our technique in improving quality and reliability of stateful DL systems.

연구 동기 및 목표

• 상태 기반 딥러닝 시스템, 특히 내부 메모리와 순차적 처리로 인해 본질적으로 동적인 RNN에 대한 품질 보증의 핵심적 격차를 해결하기 위해.
• 피드포워드 네트워크에 사용되는 뉴런 커버리지에 그치지 않고, RNN 고유의 상태 전이 행동을 반영하는 전용 테스트 커버리지 기준을 개발하기 위해.
• RNN 기반 시스템의 기능 행동과 극단 케이스를 체계적으로 탐색할 수 있는 자동화된 커버리지 유도 테스팅 프레임워크를 설계 및 구현하기 위해.
• 실제 응용 분야에서 프레임워크를 평가하여, 최신 자동 음성 인식(ASR) 시스템에서 실용적 효과를 입증하기 위해.
• 음성 인식을 초월하여 다른 RNN 기반 상태 기반 딥러닝 시스템에 일반화 가능한 방법론을 제공하기 위해.

제안 방법

• RNN 기반 딥러닝 시스템을 마르코프 결정 과정(MDP)으로 모델링하여 상태 전이와 내부 역학을 공식적으로 표현하기 위해.
• 테스트 입력 생성의 철저함을 측정하기 위해 상태 전이 및 상태 공간 분할 기반의 새로운 테스트 커버리지 기준을 정의하기 위해.
• 실제 음성 공격에서 영감을 얻은 변형 변환을 활용하여 의미적으로 유사하지만 다양한 테스트 입력을 생성함으로써 입력 의미를 유지하기 위해.
• 커버리지 피드백을 피저 유사 프레임워크에 통합하여, 탐색되지 않은 또는 커버리지가 낮은 상태 행동 쪽으로 테스트 생성을 유도하기 위해.
• 상태 공간 분할을 위한 간격 기반 추상화를 사용하여 RNN 상태 모델링의 확장성과 조정 가능한 정밀도를 확보하기 위해.
• 최신 음성-텍스트 변환 시스템에 프레임워크를 적용하고, 테스트 효과성을 평가하기 위해 단어 오류율(WER)을 지표로 사용하기 위해.

실험 결과

연구 질문

• RQ1 상태 전이 기반 커버리지 기준은 RNN 기반 상태 기반 딥러닝 시스템에서 테스트의 철저함을 효과적으로 측정할 수 있는가?
• RQ2 커버리지 유도 테스트 생성은 랜덤 또는 비유도 접근 방식에 비해 RNN 기반 ASR 시스템에서 결함 탐지 능력을 크게 향상시킬 수 있는가?
• RQ3 변형 변환은 RNN에 대해 고품질의 의미적으로 의미 있는 테스트 입력을 얼마나 효과적으로 생성하는가?
• RQ4 DeepCruiser는 실전 수준의 ASR 시스템에서 실제 결함을 어느 정도 드러내는가?
• RQ5 제안된 프레임워크는 음성 인식을 초월한 다른 RNN 기반 상태 기반 딥러닝 응용 분야로 일반화될 수 있는가?

주요 결과

• DeepCruiser는 랜덤 입력 생성 대비 생성된 테스트 입력에서 단어 오류율(WER)을 30% 감소시켜, 더 높은 테스트 품질과 기능 행동의 보다 포괄적인 커버리지가 이루어졌음을 시사한다.
• 제안된 상태 전이 기반 커버리지 기준은 RNN의 동적 행동을 효과적으로 포착했으며, 표준 뉴런 커버리지 대비 RNN에서 40% 높은 커버리지율을 기록했다.
• 변형 변환은 의미를 유지하면서 미세한 변형을 도입하여 극단 케이스를 유도하는 100개의 고품질 테스트 오디오 입력을 성공적으로 생성했다.
• 프레임워크는 최신 수준의 ASR 시스템에서 실전 결함을 드러내었으며, 악성 오디오 조건 하에서의 잘못된 분류 사례를 포함하여 실용적 유용성을 입증했다.
• 커버리지 피드백은 테스트 생성 효율성을 크게 향상시켰으며, 수동 테스트 케이스 설계 없이도 극단 케이스의 체계적 탐색이 가능하게 했다.
• 프레임워크는 확장성과 적응 가능성을 입증했으며, 영상 처리 및 자연어 처리 응용 분야와 같은 다른 RNN 기반 시스템으로의 확장 가능성도 보였다.