[논문 리뷰] Testing Monotonicity of Machine Learning Models

Arnab Sharma, Heike Wehrheim|arXiv (Cornell University)|2020. 02. 27.

Adversarial Robustness in Machine Learning참고 문헌 32인용 수 4

한 줄 요약

이 논문은 흑상자 기계학습 모델에서 단조성에 대한 검증 기반 테스팅을 제안한다. 이는 흑상자 모델 예측에서 유도된 학습 데이터를 바탕으로 백상자 결정트리 근사 모델을 추론하고, SMT 해결기를 사용하여 체계적으로 반례를 생성함으로써 이루어진다. 제안된 방법은 적응형 랜덤 테스팅과 성질 기반 테스팅보다 단조성 위반 탐지에서 뛰어난 성능을 보이며, 90개의 모델에서 높은 효과성과 효율성을 입증하였다.

ABSTRACT

Today, machine learning (ML) models are increasingly applied in decision making. This induces an urgent need for quality assurance of ML models with respect to (often domain-dependent) requirements. Monotonicity is one such requirement. It specifies a software as 'learned' by an ML algorithm to give an increasing prediction with the increase of some attribute values. While there exist multiple ML algorithms for ensuring monotonicity of the generated model, approaches for checking monotonicity, in particular of black-box models, are largely lacking. In this work, we propose verification-based testing of monotonicity, i.e., the formal computation of test inputs on a white-box model via verification technology, and the automatic inference of this approximating white-box model from the black-box model under test. On the white-box model, the space of test inputs can be systematically explored by a directed computation of test cases. The empirical evaluation on 90 black-box models shows verification-based testing can outperform adaptive random testing as well as property-based techniques with respect to effectiveness and efficiency.

연구 동기 및 목표

• 금융 및 헬스케어와 같은 분야에서 필수적인 요구사항인 흑상자 기계학습 모델에 대한 단조성에 대한 체계적인 테스팅 기법의 부족을 해결하기 위해.
• 기본 기계학습 알고리즘 또는 아키텍처에 관계없이 모델에 관계없이 단조성 검증을 가능하게 하기 위해.
• 무작위 또는 커버리지 기반 샘플링에 의존하는 대신, 체계적으로 대상 테스트 케이스를 생성하여 테스트 효과성을 향상시키기 위해.
• 근사된 백상자 모델에 SMT 기술을 사용하여 단조성 위반을 공식적이고 검증 가능한 방법으로 탐지하기 위해.
• 확인된 반례를 사용하여 백상자 모델을 반복적으로 개선함으로써 테스트 셋 커버리지와 정확도를 향상시키기 위해.

제안 방법

• 테스트 대상 모델의 예측에서 유도된 학습 데이터를 사용하여 흑상자 모델의 예측에서 백상자 결정트리 모델을 추론한다.
• 결정트리를 SMT 논리에서 표현 가능한 논리 공식으로 변환하여 공식적 검증을 가능하게 한다.
• SMT 솔버를 사용하여 입력 특성의 증가가 출력 예측을 감소시키는지 여부를 확인함으로써 단조성에 대한 잠재적 반례를 계산한다.
• 기호 실행과 유사한 전략을 사용하여 탐지된 반례를 체계적으로 변형하여 테스트 커버리지를 확장하고 인접한 입력 영역을 탐색한다.
• 원래의 흑상자 모델에서 확인된 반례를 검증한다; 만약 유효한 반례로 확인되면, 유효한 단조성 위반으로 저장한다.
• 유효한 반례가 발견되지 않으면, 확인된 테스트 케이스를 포함한 새로운 데이터로 백상자 모델을 재학습시켜 근사 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 검증 기반 테스팅이 적응형 랜덤 테스팅과 성질 기반 테스팅보다 흑상자 기계학습 모델에서 단조성 위반 탐지에 더 효과적인가?
• RQ2 유도된 백상자 결정트리가 복잡한 흑상자 모델을 단조성 테스팅을 위해 근사하는 데 얼마나 효과적인가?
• RQ3 반례의 체계적 변형이 테스트 셋 커버리지와 단조성 실패 탐지에 얼마나 기여하는가?
• RQ4 백상자 모델의 반복적 개선이 단조성 테스팅의 정확도와 효율성에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 단조성 인식 학습 알고리즘과 표준 알고리즘을 사용해 훈련된 다양한 기계학습 모델에 효과적으로 적용될 수 있는가?

주요 결과

• 제안된 검증 기반 테스팅 접근법은 90개의 흑상자 모델에서 적응형 랜덤 테스팅과 성질 기반 테스팅보다 단조성 위반 탐지에 더 효과적으로 작용하였다.
• 이 방법은 더 적은 수의 테스트 케이스로도 높은 탐지율을 달성하여, 단조성 실패 탐지의 효율성이 향상됨을 시사한다.
• 반례의 체계적 변형은 테스트 셋 커버리지와 숨겨진 위반 탐지 가능성의 증가에 크게 기여하였다.
• 백상자 모델의 반복적 재학습은 근사 정밀도를 향상시켜 거짓 음성 감소와 함께 탐지 정확도 향상을 이뤘다.
• 이 방법은 단조성 인식 학습 알고리즘과 표준 학습 알고리즘을 사용해 훈련된 다양한 모델에서 뛰어난 성능을 보였다.
• 유도된 백상자 모델에 SMT 해결을 적용함으로써 정확하고 공식적인 단조성 제약 검증이 가능해졌으며, 히وري스틱 기반 접근법을 뛰어넘었다.