[논문 리뷰] Identifying Model Weakness with Adversarial Examiner

Michelle Shu, Chenxi Liu외 2명|arXiv (Cornell University)|2019. 11. 25.

Adversarial Robustness in Machine Learning참고 문헌 44인용 수 4

한 줄 요약

이 논문은 평균적 성능 평가에 비해 뛰어난 성능을 보이며, 이전 성능에 기반해 적응적으로 테스트 입력을 선택함으로써 기계학습 모델의 약점을 체계적으로 식별하는 동적 테스트 프레임워크인 적대적 시험관(Adversarial Examiner)을 제안한다. 강화학습 또는 베이지안 최적화를 사용하여 실패 모드를 타겟으로 삼아, 3D 객체 인식 모델의 숨겨진 취약점을 드러내며 과도하게 낙관적인 성능 평가를 방지한다.

ABSTRACT

Machine learning models are usually evaluated according to the average case performance on the test set. However, this is not always ideal, because in some sensitive domains (e.g. autonomous driving), it is the worst case performance that matters more. In this paper, we are interested in systematic exploration of the input data space to identify the weakness of the model to be evaluated. We propose to use an adversarial examiner in the testing stage. Different from the existing strategy to always give the same (distribution of) test data, the adversarial examiner will dynamically select the next test data to hand out based on the testing history so far, with the goal being to undermine the model's performance. This sequence of test data not only helps us understand the current model, but also serves as constructive feedback to help improve the model in the next iteration. We conduct experiments on ShapeNet object classification. We show that our adversarial examiner can successfully put more emphasis on the weakness of the model, preventing performance estimates from being overly optimistic.

연구 동기 및 목표

• 표준 기계학습 평가에서 고정된 테스트 세트와 평균적 성능에 의존함으로써 발생하는 과도한 낙관주의를 해결하기 위해.
• 특히 자율주행 및 의료와 같은 안전 민감 분야에서 중요한 최악의 시나리오에 중점을 두는 테스트 패러다임을 개발하기 위해.
• 정적 평가보다 더 효과적으로 모델의 약점을 드러내는 동적이고 이력 기반의 테스트 프로세스를 만들기 위해.
• 데이터 공간 내에서 실패가 일어나기 쉬운 영역을 식별함으로써 모델 개선을 위한 구체적 피드백을 제공하기 위해.
• ShapeNet을 사용한 3D 객체 분류에서 이 프레임워크를 검증하여 숨겨진 취약점을 드러내는 능력을 입증하기 위해.

제안 방법

• 적대적 시험관은 모델의 이전 예측에 기반해 다음 테스트 입력을 동적으로 선택하며, 성능을 최소화하는 것을 목표로 한다.
• 강화학습(RL) 또는 베이지안 최적화(BO)를 사용하여 입력 공간을 탐색하고 성능이 열 劣한 영역을 타겟으로 한다.
• 입력 공간을 12차원의 파라미터 공간(예: 조명, 물체 위치, 회전)으로 모델링하고, 모델 신뢰도 또는 손실 기반의 보상 함수를 사용한다.
• 시험관은 테스트 입력과 모델 반응의 이력을 유지하며, 고위험 영역에 집중하도록 전략을 업데이트한다.
• 이 프레임워크는 성능을 최대화하는 방향으로 뒤집어 모델의 강점을 식별하는 데도 사용할 수 있다.
• 실험은 ResNet34를 사용하며, 다양한 훈련 데이터 양에서 실패 모드를 발견하도록 적대적 시험관을 훈련시켰다.

실험 결과

연구 질문

• RQ1 동적 테스트 프레임워크는 고정된 테스트 세트 평가에 비해 모델의 약점을 드러내는 데 더 뛰어난가?
• RQ2 실제 입력 변동 조건 하에서 적대적 시험관은 3D 객체 인식 모델의 실패 모드를 얼마나 효과적으로 식별할 수 있는가?
• RQ3 적대적 시험관의 성능은 입력 파라미터 샘플링 순서에 의존하는가?
• RQ4 동일한 프레임워크를 목적을 뒤집어 모델의 강점을 식별하는 데에도 사용할 수 있는가?
• RQ5 적대적 시험관은 훈련 중에 의도적으로 도입된 인위적 약점을 어느 정도 드러낼 수 있는가?

주요 결과

• 적대적 시험관은 표준 평가에서는 드러나지 않았지만, 모델이 조명 강도 증가에 취약하다는 점을 성공적으로 식별했다.
• 기본 훈련 데이터의 10%만(=m=1) 사용된 상태에서도 적대적 시험관은 상당히 열 劣한 성능을 드러내어 데이터 다양성의 중요성을 확인했다.
• RL 기반과 BO 기반의 시험관 모두 동일한 실패 영역에 수렴하여 샘플링 순서나 방법 선택에 대한 강건성을 입증했다.
• 인위적 약점 실험에서는 상단 및 하단 시야에 해당하는 실패 영역를 정확히 국소화하여 설계된 취약점을 탐지할 수 있음을 확인했다.
• 손실을 최소화하도록 목적을 뒤집었을 때, 시험관은 정확한 분류에 유리한 조건(최적의 시야)을 성공적으로 식별했다.
• 적대적 시험관의 동적 접근 방식은 특히 랜덤 샘플링이나 고정된 테스트 세트와 비교했을 때 과도하게 낙관적인 성능 평가를 방지했다.