[논문 리뷰] Test Metrics for Recurrent Neural Networks.

Wei Huang, Youcheng Sun외 2명|arXiv (Cornell University)|2019. 11. 05.

Adversarial Robustness in Machine Learning참고 문헌 29인용 수 6

한 줄 요약

이 논문은 장기 단기 기억(LSTM) 네트워크를 위한 커버리지 유도 테스팅 프레임워크인 testRNN을 제안한다. 이 프레임워크는 학습된 값과 시간에 따른 의존성을 정량화하는 세 가지 새로운 테스트 메트릭을 사용한다. 표적적 변형과 구조적 커버리지의 조합을 통해 testRNN은 잘못된 동작을 효과적으로 식별하고, 커버리지와 적대적 내성 사이에 양의 상관관계가 있음을 보여주며, 해석 가능한 신경망 테스팅을 발전시킨다.

ABSTRACT

Recurrent neural networks (RNNs) have been applied to a broad range of applications such as natural language processing, drug discovery, and video recognition. This paper develops a coverage-guided testing approach for a major class of RNNs -- long short-term memory networks (LSTMs). We start from defining a family of three test metrics that are designed to quantify not only the values but also the temporal relations (including both step-wise and bounded-length) learned through LSTM's internal structures. While testing, random mutation enhanced with the coverage knowledge, i.e., targeted mutation, is designed to generate test cases. Based on these, we develop the coverage-guided testing tool testRNN. To our knowledge, this is the first time structural coverage metrics are used to test LSTMs. We extensively evaluate testRNN with a variety of LSTM benchmarks. Experiments confirm that there is a positive correlation between adversary rate and coverage rate, evidence showing that the test metrics are valid indicators of robustness evaluation. Also, we show that testRNN effectively captures erroneous behaviours in RNNs. Furthermore, meaningful information can be collected from testRNN for users to understand what the testing results represent. This is in contrast to most neural network testing works, and we believe testRNN is an important step towards interpretable neural network testing.

연구 동기 및 목표

• 재귀 신경망, 특히 LSTM에 대한 구조적 테스팅 메트릭의 부족을 해결하기 위해.
• 출력 값뿐만 아니라 시간 단계 간에 학습된 시간적 관계를도 캡처하는 테스트 메트릭을 개발하기 위해.
• 커버리지 지식을 활용하여 변형 테스팅을 유도함으로써 결함 탐지 능력을 향상시킬 수 있는 테스팅 프레임워크를 설계하기 위해.
• 테스트 케이스에서 유의미한 통찰을 수집함으로써 테스팅 결과의 해석 가능성을 보장하기 위해.
• 제안된 메트릭과 프레임워크의 효과성을 실제 LSTM 벤치마크에서 검증하기 위해.

제안 방법

• LSTM이 학습한 값과 시간적 의존성(단계별 및 길이 제한된)을 평가하는 세 가지 테스트 메트릭의 가족을 정의하기 위해.
• 커버리지 피드백을 사용하여 랜덤 변형이 미흡하게 테스트된 구조적 구성 요소 쪽으로 유도되는 표적적 변형을 설계하기 위해.
• 제안된 메트릭과 변형 전략을 통합한 커버리지 유도 테스팅 도구인 testRNN을 구현하기 위해.
• 테스트 케이스 생성의 우선순위를 정하고 테스트 효율성을 향상시키기 위해 커버리지 비율을 피드백 신호로 사용하기 위해.
• 테스트 결과를 수집하고 분석하여 모델 동작과 실패 유형에 대한 해석 가능한 통찰을 추출하기 위해.
• 다양한 LSTM 벤치마크에서 프레임워크를 평가하여 강건성과 결함 탐지 능력을 평가하기 위해.

실험 결과

연구 질문

• RQ1 구조적 커버리지 메트릭은 LSTM이 학습한 내부 시간적 및 값 기반 행동을 효과적으로 정량화할 수 있는가?
• RQ2 LSTM에서 테스트 커버리지 비율과 적대적 내성 사이에 양의 상관관계가 존재하는가?
• RQ3 제안된 테스팅 프레임워크는 기존 접근 방식보다 LSTM 모델의 오류 행동을 더 효과적으로 탐지할 수 있는가?
• RQ4 testRNN은 테스팅 결과에 대한 해석 가능한 통찰을 어느 정도 제공할 수 있는가?
• RQ5 기존 신경망 테스팅 방법과 비교할 때 제안된 테스트 메트릭은 결함 탐지 및 커버리지 측면에서 어떻게 다른가?

주요 결과

• 적대자 비율과 커버리지 비율 사이에 양의 상관관계가 관찰되어, 높은 커버리지가 더 높은 강건성과 관련이 있음을 시사한다.
• testRNN은 다양한 벤치마크에서 LSTM 모델의 오류 행동을 성공적으로 탐지하여 효과적인 결함 국소화를 보였다.
• 테스트 메트릭은 강건성 평가를 위한 유효한 지표로 검증되었으며, 모델 평가에 활용될 수 있음을 뒷받침한다.
• testRNN은 기존 대부분의 신경망 테스팅 도구와 달리 의미 있는 테스트 케이스를 생성하여 모델 동작에 대한 해석 가능한 통찰을 제공했다.
• 커버리지 피드백을 변형 테스팅에 통합함으로써 테스트 케이스의 효과성과 커버리지 수렴 속도가 크게 향상되었다.
• 프레임워크는 자연어 처리 및 비디오 인식 작업을 포함한 다양한 LSTM 응용 분야에서 일관된 성능을 보였다.