[논문 리뷰] Targeted Nonlinear Adversarial Perturbations in Images and Videos

Roberto Rey-de-Castro, Herschel Rabitz|arXiv (Cornell University)|2018. 08. 27.

Adversarial Robustness in Machine Learning참고 문헌 24인용 수 8

한 줄 요약

이 논문은 깊이 학습된 컨volution 신경망을 사용하여 개별 이미지 및 영상에 대해 대상 지정된, 희소적이고 고해상도의 적대적 편향을 학습하는 방법을 제안한다. 이러한 편향은 인간이 인지할 수 있는 클래스 정체성을 유지하면서 딥 러닝 모델을 잘못된 분류로 유도하는 데 효과적이며, 모델의 결정 과정에 대한 통찰을 제공하고, 데이터 증강을 향상시키며, 희소 웨이블릿 계수를 기반으로 한 새로운 압축 기법을 가능하게 한다.

ABSTRACT

We introduce a method for learning adversarial perturbations targeted to individual images or videos. The learned perturbations are found to be sparse while at the same time containing a high level of feature detail. Thus, the extracted perturbations allow a form of object or action recognition and provide insights into what features the studied deep neural network models consider important when reaching their classification decisions. From an adversarial point of view, the sparse perturbations successfully confused the models into misclassifying, although the perturbed samples still belonged to the same original class by visual examination. This is discussed in terms of a prospective data augmentation scheme. The sparse yet high-quality perturbations may also be leveraged for image or video compression.

연구 동기 및 목표

• 딥 뉴럴 네트워크의 분류 결정 방식을 더 깊이 이해할 수 있도록, 동시에 희소적이면서도 기능적 세부 정보가 풍부한 적대적 편향을 생성하는 방법을 개발하는 것.
• 사소한 변화이지만 영향력이 큰 입력 변화에 대해 모델이 불변성을 가지도록 하는 반복적인 데이터 증강 전략을 활용하여 모델의 강건성을 향상시키는 것.
• 편향을 통해 드러나는 주요 특징을 추출하여 객체 또는 동작 인식 및 모델 예측의 해석을 가능하게 하는 것.
• 최적의 적대적 편향의 희소성에 기반한 새로운 영상 및 영상 압축 방법을 탐색하여, 최소한의 계수로 근사 재구성을 가능하게 하는 것.

제안 방법

• 각 입력 샘플 X^(i)당 학습된 딥 컨volution 신경망(P^(i))을 사용하여, 모델 출력을 최대한 변화시키면서 원래 입력에서의 편차를 최소화하는 대상 지정 편향 δ^(i)를 생성한다.
• 편향 δ^(i)는 δ^(i) = X^(i) - P^(i)(X^(i))로 계산되며, 희소성을 확보하기 위해 임계값 처리 또는 웨이블릿 변환을 통해 희소 계수 집합 ω^(i) = T(W(δ^(i)))를 추출한다.
• 재구성 네트워크 R을 학습하여 희소 계수 ω^(i)를 다시 원래의 근사 재구성 χ^(i) = R(W^(-1)(ω^(i)))로 변환하며, 복소화 및 컨볼루션 레이어를 사용하여 구조적 맥락을 복원한다.
• 웨이블릿 변환(W)과 임계값 처리(T)를 통합하여 편향 정보를 최소한의 의미 있는 표현으로 압축하며, 모델의 결정에 필수적인 특징만 유지한다.
• 모델을 반복적으로 재학습시켜 적대적 편향이 가미된 데이터를 사용함으로써 강건성을 향상시키는 반복 학습 절차를 제안하며, 인간에게는 인식하기 어려운 편향이지만 모델에 대해서는 매우 파괴적인 방식으로 설계된다.
• 영상 압축을 위해 시간적 일관성 손실을 제안하여, 프레임 간 픽셀 변화를 억제함으로써 매끄럽고 일관된 재구성을 촉진한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 분류를 위해 의존하는 특징을 드러내기 위해, 개별 이미지 및 영상에 대해 대상 지정된, 희소적이며 고정밀도의 적대적 편향을 학습시킬 수 있는가?
• RQ2 이러한 편향은 모델의 잘못된 분류를 유도하면서도 인간이 인지할 수 있는 클래스 정체성을 얼마나 유지하는가? 그리고 이를 어떻게 데이터 증강에 활용할 수 있는가?
• RQ3 학습된 편향의 희소성과 구조적 세부 정보를 활용하여, 압축된 계수 집합에서 높은 시각적 정확도로 영상이나 영상을 재구성할 수 있는가?
• RQ4 편향 생성 과정을 영상 데이터에 적응시켜, 압축 및 재구성 과정에서 시간적 일관성을 유지할 수 있는가?

주요 결과

• 학습된 적대적 편향은 희소적이지만 높은 기능적 세부 정보를 유지하여, 인간의 시각적 검토에서도 원래 클래스를 유지하면서 딥 뉴럴 네트워크의 출력을 잘못 분류하는 데 효과적이다.
• 편향은 모델이 분류를 위해 사용하는 가장 중요한 특징을 드러내어, 모델의 결정 과정에 대한 설명 가능한 통찰을 제공한다.
• 이러한 주요 특징의 존재를 입력 데이터에서 탐지함으로써, 객체 또는 동작 인식의 한 형태를 가능하게 한다.
• 웨이블릿 변환된 희소 계수 ω^(i)는 편향 δ^(i)로부터 필수 정보를 캡처하여, 훈련된 재구성 네트워크 R을 통해 원본 영상이나 영상의 근사 재구성을 가능하게 한다.
• 특히 배경이 일관된 영상의 저대역폭 전송 시, R을 과적합시키면 재구성 품질이 향상된다.
• 제안된 압축 기법은 오직 희소 웨이블릿 계수 ω^(i)만 전송함으로써, 입력의 모델 관련 특징을 인코딩함으로써 상당한 데이터 감소를 달성한다.