[논문 리뷰] NPC: Neuron Path Coverage via Characterizing Decision Logic of Deep Neural Networks

Xiaofei Xie, Tianlin Li외 5명|arXiv (Cornell University)|2022. 03. 24.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 깊이 신경망(DNNs)을 위한 해석 가능한 테스팅 기준인 NPC(Neuron Path Coverage)를 제안한다. 이 기준은 중요한 뉴런 활성화로부터 유도된 결정 그래프를 통해 의사결정 논리를 모델링한다. 이 그래프 내의 제어 흐름 및 데이터 흐름 경로를 분석함으로써, NPC는 두 가지 경로 커버리지 변형—SNPC(제어 흐름 기반)와 ANPC(데이터 흐름 기반)—을 통해 테스트 적정성을 측정하며, 결함 탐지 및 모델 공정성과 강한 상관관계를 보여준다.

ABSTRACT

Deep learning has recently been widely applied to many applications across different domains, e.g., image classification and audio recognition. However, the quality of Deep Neural Networks (DNNs) still raises concerns in the practical operational environment, which calls for systematic testing, especially in safety-critical scenarios. Inspired by software testing, a number of structural coverage criteria are designed and proposed to measure the test adequacy of DNNs. However, due to the blackbox nature of DNN, the existing structural coverage criteria are difficult to interpret, making it hard to understand the underlying principles of these criteria. The relationship between the structural coverage and the decision logic of DNNs is unknown. Moreover, recent studies have further revealed the non-existence of correlation between the structural coverage and DNN defect detection, which further posts concerns on what a suitable DNN testing criterion should be. In this paper, we propose the interpretable coverage criteria through constructing the decision structure of a DNN. Mirroring the control flow graph of the traditional program, we first extract a decision graph from a DNN based on its interpretation, where a path of the decision graph represents a decision logic of the DNN. Based on the control flow and data flow of the decision graph, we propose two variants of path coverage to measure the adequacy of the test cases in exercising the decision logic. The higher the path coverage, the more diverse decision logic the DNN is expected to be explored. Our large-scale evaluation results demonstrate that: the path in the decision graph is effective in characterizing the decision of the DNN, and the proposed coverage criteria are also sensitive with errors including natural errors and adversarial examples, and strongly correlated with the output impartiality.

연구 동기 및 목표

• 기존 DNN의 구조적 커버리지 기준이 투명하고 실제 의사결정 논리와 상관관계가 낮다는 점을 해결하기 위해 해석 가능한 기준이 필요하다.
• 뉴런 활성화 기반 커버리지(예: 뉴런 커버리지)의 한계를 극복하기 위해 DNN의 의사결정 과정을 체계적인 표현 방식으로 모델링한다.
• DNN의 제어 흐름 및 데이터 흐름에 기반한 테스트 적정성 기준을 개발하여 다양한 의사결정 행동을 보다 잘 포괄한다.
• 커버리지가 실제 의사결정 논리와 일치하도록 하여 자연적 오류 및 대비 예측 예측에 대한 테스팅 민감도를 향상시킨다.
• 테스트 커버리지와 모델 행동 간의 명확하고 해석 가능한 연결 고리를 확립하여 더 체계적이고 의미 있는 DNN 테스팅을 가능하게 한다.

제안 방법

• 학습 데이터로부터의 활성화 패턴을 기반으로 중요한 뉴런을 식별함으로써 DNN에서 결정 그래프를 구축한다.
• 각 경로가 레이어 간 뉴런 활성화의 순서를 나타내도록, DNN의 의사결정 논리를 결정 그래프 내의 경로로 모델링한다.
• 제어 흐름 경로에 기반한 SNPC(구조적 뉴런 경로 커버리지)를 정의하여 테스트 입력이 다양한 의사결정 경로를 얼마나 다루는지 측정한다.
• 데이터 흐름 경로에 기반한 ANPC(활성화 기반 뉴런 경로 커버리지)를 정의하여 중요한 의사결정 경로를 따라 활성화 값의 다양성을 측정한다.
• 중요한 뉴런의 활성화 값을 군집화하여 대표적인 의사결정 경로를 식별하고 그룹화한다.
• 결정 그래프와 경로 커버리지 기준을 자동화된 테스팅 파이프라인에 통합하여 커버리지를 극대화하는 데 도움이 되는 테스트 케이스 생성을 유도한다.

실험 결과

연구 질문

• RQ1 DNN 내의 의사결정 경로를 효과적으로 추출하고 그래프 구조로 표현하여 네트워크의 의사결정 논리를 모델링할 수 있는가?
• RQ2 결정 그래프 내의 제어 흐름 및 데이터 흐름 경로는 DNN의 실제 행동과 강건성과 어떻게 관련이 있는가?
• RQ3 제안된 경로 커버리지(SNPC 및 ANPC)가 자연적 오류와 대비 예측 예측 모두에 대해 어느 정도의 상관관계를 보이는가?
• RQ4 NPC의 해석 가능성은 전통적인 뉴런 활성화 기반 커버리지 대비 테스트 적정성 이해를 어떻게 향상시키는가?
• RQ5 경로 기반 커버리지 기준은 DNN에 대해 더 다양하고 효과적인 테스트 케이스 생성을 어떻게 유도할 수 있는가?

주요 결과

• 결정 그래프는 레이어 간 중요한 뉴런 활성화 경로를 모델링함으로써 DNN의 의사결정 논리를 성공적으로 포착한다.
• SNPC와 ANPC는 자연적 오류 및 대비 예측 예측 모두에 대해 강력한 민감도를 보이며, 이는 모델 결함 탐지 효과성을 시사한다.
• NPC는 모델 출력의 공정성과 높은 상관관계를 보이며, 이는 공정성 및 강건성 평가에 유용함을 시사한다.
• 경로 기반 커버리지 기준은 레이어 간 논리적 종속성을 모델링하므로 기존 뉴런 커버리지보다 실제 의사결정 행동을 더 잘 반영한다.
• 평가 결과, 높은 경로 커버리지가 다양한 의사결정 논리 탐색을 증가시켜 테스트 적정성을 향상시킴을 입증한다.
• NPC는 해석 가능하며, 어떤 의사결정 경로가 미흡하게 테스트되고 있는지 파악하고 이를 바탕으로 타겟된 테스트 생성이 가능하다.