[논문 리뷰] Rearchitecting Classification Frameworks For Increased Robustness

Varun Chandrasekaran, Brian Tang외 4명|arXiv (Cornell University)|2019. 05. 26.

Adversarial Robustness in Machine Learning참고 문헌 79인용 수 5

한 줄 요약

이 논문은 도메인 지식이나 데이터 기반 클러스터링을 통해 유도된 물리적 불변성(예: 모양 또는 위치)을 강제 적용하는 계층적 분류 프레임워크를 제안한다. 이는 정확도를 희생시키지 않은 채 적대적 공격에 대한 강건성을 향상시킨다. 이러한 불변성을 기반으로 분류기를 구성함으로써 악성 공격자의 효과적 공격 영역을 제한하고, 도로 표지판 분류 및 화자 식별 작업에서 뚜렷한 강건성 향상을 이룬다. 계산 오버헤드는 최소한이다.

ABSTRACT

While generalizing well over natural inputs, neural networks are vulnerable to adversarial inputs. Existing defenses against adversarial inputs have largely been detached from the real world. These defenses also come at a cost to accuracy. Fortunately, there are invariances of an object that are its salient features; when we break them it will necessarily change the perception of the object. We find that applying invariants to the classification task makes robustness and accuracy feasible together. Two questions follow: how to extract and model these invariances? and how to design a classification paradigm that leverages these invariances to improve the robustness accuracy trade-off? The remainder of the paper discusses solutions to the aformenetioned questions.

연구 동기 및 목표

• 딥 네ural 네트워크에서 자연적 정확도와 적대적 강건성 간의 지속적인 트레이드오프를 해결하기 위해.
• 모양 또는 공간적 레이아웃과 같은 도메인 특화 불변성을 분류 파이프라인에 통합하여 적대적 편향을 제약하기 위해.
• 중간층에서 불변성을 강제 적용하는 계층적 분류 프레임워크를 개발하여, 구조적 레이블 분할을 통해 강건성을 향상시키기 위해.
• 도메인 지식이 제한된 상황에서 데이터 임bedding에서 추출한 불변성이 효과적으로 강건한 모델 설계를 이끄는 데 사용될 수 있는지 입증하기 위해.
• 실제 작업, 특히 도로 표지판과 화자 식별에서 물리적으로 실현 가능한 적대적 예제에 대한 검증을 수행하기 위해.

제안 방법

• 물리적 불변성을 수학적으로 관계 𝒫 ⊆ 𝒳 × 𝒳 로 모델링하여, 예를 들어 정지 신호등의 경우 정팔각형 형태를 유지하는 등의 의미를 유지하는 편향 하에서.
• 중간층 및 최종 네트워크 레이어의 특징 임베딩에 클러스터링을 적용하여, 레이블 동치 클러스터를 탐색하고 불변성 구조를 식별한다.
• 상위 레벨 분류기가 불변성 기반 동치 클래스를 강제로 적용하고, 리프 레벨 분류기가 각 클래스 내에서 세분화된 예측을 수행하도록 계층적 분류기를 설계한다.
• 불변성 강제 분류기 및 리프 분류기 각각을 강건하게 훈련시어 전체 시스템이 조합적 설계를 통해 강건성을 습득하도록 보장한다.
• 특히 LiDAR 기반 공격에 대비해 강건성을 확보하기 위해 2D 이미지 및 3D 포인트 클라우드와 같은 다중 모odal 입력을 활용한다.
• 실제 작업, 즉 도로 표지판 인식 및 화자 식별에 프레임워크를 적용하여 물리적으로 실현 가능한 적대적 예제에 대한 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 형태나 위치와 같은 물리적 불변성을 강제 적용함으로써 딥 러닝 모델의 강건성-정확도 트레이드오프를 향상시킬 수 있는가?
• RQ2 도메인 전문 지식이 없을 경우 불변성이 데이터에서 자동으로 발견될 수 있는가?
• RQ3 불변성을 강제 적용하는 계층적 분류 아키텍처가 표준 모델보다 적대적 강건성에서 뛰어난 성능을 보일 수 있는가?
• RQ4 네트워크 임베딩의 클러스터링에서 유도된 불변성이 실제로 얼마나 강건성 향상에 기여하는가?
• RQ5 예를 들어 변형된 형태의 인쇄된 도로 표지판이나 3D 포인트 클라우드 조작과 같은 물리적으로 실현 가능한 적대적 공격에 대비할 수 있는가?

주요 결과

• 강제로 불변성을 적용하는 계층적 분류 프레임워크는 자연적 정확도를 저하시키지 않은 채 강건성을 향상시켜 전통적인 강건성-정확도 트레이드오프를 성공적으로 극복한다.
• 형태 및 공간적 레이아웃과 같은 불변성은 악성 공격자의 효과적 공격 영역을 크게 줄여 타겟된 적대적 예제의 실현 가능성을 제한한다.
• 딥 네트워크의 특징 임베딩에서 클러스터링을 통해 의미 있는 레이블 동치 관계를 발견할 수 있으며, 이를 강건한 불변 클래스 정의에 활용할 수 있다.
• 도로 표지판 분류 작업에서 강건성 향상이 입증되었으며, 형태가 수정된 인쇄된 표지판과 같은 물리적으로 실현 가능한 적대적 편향에 효과적으로 대응한다.
• 2D 이미지와 3D 포인트 클라우드를 조합하는 다중 모달 설정에서도 프레임워크가 효과적으로 작동하여 LiDAR 기반 적대적 공격에 대비한다.
• 비용이 많이 들거나 복잡한 적대적 훈련 또는 인증 절차가 필요 없이 최소한의 계산 오버헤드로 강건성 향상을 달성한다.