[논문 리뷰] Universal Perturbation Attack on Differentiable No-Reference Image- and Video-Quality Metrics

Ekaterina Shumitskaya, Anastasia Antsiferova외 1명|arXiv (Cornell University)|2022. 11. 01.

Adversarial Robustness in Machine Learning인용 수 8

한 줄 요약

이 논문은 다양한 미리 훈련된 비참조(image- and video-quality) 측정법에 대한 최초의 유니버설 어ไพร럴 펌터베이션 공격(Universal Perturbation Attack, UAP)을 제안한다. 이 방법은 시각적 품질을 향상시키지 않고도 측정 점수를 인위적으로 높이는 고정된 펌터베이션을 훈련시킨다. 방법은 점수 변화를 평가하기 위해 비율-왜곡(Rate-Distortion, RD) 곡선을 사용하여, SPAQ, Nima, KonCept512는 안정적인 반면, PaQ-2-PiQ, Linearity, VSFA, MDTVSFA는 점수 조작에 매우 취약하다는 것을 드러낸다.

ABSTRACT

Universal adversarial perturbation attacks are widely used to analyze image classifiers that employ convolutional neural networks. Nowadays, some attacks can deceive image- and video-quality metrics. So sustainability analysis of these metrics is important. Indeed, if an attack can confuse the metric, an attacker can easily increase quality scores. When developers of image- and video-algorithms can boost their scores through detached processing, algorithm comparisons are no longer fair. Inspired by the idea of universal adversarial perturbation for classifiers, we suggest a new method to attack differentiable no-reference quality metrics through universal perturbation. We applied this method to seven no-reference image- and video-quality metrics (PaQ-2-PiQ, Linearity, VSFA, MDTVSFA, KonCept512, Nima and SPAQ). For each one, we trained a universal perturbation that increases the respective scores. We also propose a method for assessing metric stability and identify the metrics that are the most vulnerable and the most resistant to our attack. The existence of successful universal perturbations appears to diminish the metric's ability to provide reliable scores. We therefore recommend our proposed method as an additional verification of metric reliability to complement traditional subjective tests and benchmarks.

연구 동기 및 목표

• 다양이 가능한 비참조(image- and video-quality) 측정법이 유니버설 적대적 펌터베이션(UAP)에 얼마나 취약한지 조사하는 것.
• UAP 하에서 점수 변화를 측정함으로써 RD 곡선을 사용해 측정법의 안정성을 평가하는 방법을 개발하는 것.
• 유니버설 펌터베이션을 통해 점수를 인위적으로 높일 수 있는 비참조 측정법이 어떤 것인지 특정하는 것. 이는 알고리즘 비교에서의 신뢰성에 영향을 미친다.
• 주관적 테스트와 벤치마크 상관관계 외에 비참조 측정법의 신뢰성에 대한 보완적 검증 방법을 제공하는 것.

제안 방법

• 다양이 가능한 비참조 측정법의 출력 점수를 최대화하기 위해 고정된, 이미지에 의존하지 않는 노이즈 패턴으로 유니버설 펌터베이션(UAP)을 훈련시었다.
• UAP를 학습 가능한 파라미터로 간주하고, 10,000장의 COCO 이미지에서 딥 러닝 최적화 기법을 적용해 훈련시켰다.
• H.264 압축 전에 훈련된 UAP를 FullHD 비디오 프레임에 적용하여 실제 워크플로우 전처리를 시뮬레이션했다.
• 목표 측정법의 성능 향상과 대체 측정법의 손실 간 곡선 아래 면적을 기반으로 한 안정성 점수를 제안하였으며, 음수 값은 취약성을 나타낸다.
• 압축된 비디오에서 UAP의 영향을 평가하기 위해 RD 곡선을 사용하여 측정법의 강건성 비교를 가능하게 하였다.
• 제안된 안정성 점수와 표준 스피어만 순위 상관관계(SRCC)를 사용해 주관적 기준과의 비교를 통해 측정법을 평가하였다.

실험 결과

연구 질문

• RQ1 유니버설 적대적 펌터베이션를 사용해 다양한 비참조 이미지 및 비디오 품질 측정법의 점수를 인위적으로 높일 수 있는가?
• RQ2 어느 비참조 측정법이 이러한 펌터베이션에 가장 취약하며, 어느 측정법이 더 강건한가?
• RQ3 RD 곡선 기반 안정성 점수는 전통적인 SRCC 기반 평가와 비교해 신뢰할 수 있는 측정법을 식별하는 데 얼마나 효과적인가?
• RQ4 UAP는 이미지 및 비디오 처리에서 객관적 측정법 비교의 공정성을 어느 정도 훼손하는가?

주요 결과

• SPAQ, Nima, KonCept512는 각각 2.6, -0.1, -0.3의 높은 안정성 점수를 보이며 UAP에 저항하는 것으로 나타났다.
• PaQ-2-PiQ, Linearity, VSFA, MDTVSFA는 -5.3, -4.2, -3.8, -4.8의 강한 취약성 점수를 보이며 뚜렷한 취약성을 보였다.
• MDTVSFA의 경우 MSU 벤치마크에서 0.94의 높은 SRCC 상관관계를 보였음에도 불구하고, UAP를 통한 점수 인플레이션에 매우 취약했다.
• 제안된 안정성 점수는 표준 벤치마크에서 잘 작동하지만, 적대적 펌터베이션 하에서는 신뢰할 수 없는 측정법을 효과적으로 식별하였다.
• 비디오 압축 이전에 UAP를 적용할 경우, 시각적 품질 향상 없이도 측정 점수가 크게 상승하여 실제 워크플로우에서의 측정법 조작 위험을 입증하였다.
• 높은 주관적 점수 상관관계가 있다고 해서 반드시 UAP에 대한 강건성이 보장되는 것은 아니며, 이는 현재 평가 관행에 심각한 결함이 있음을 확인시켰다.