[논문 리뷰] Vulnerabilities in Video Quality Assessment Models: The Challenge of Adversarial Attacks

Aoxiang Zhang, Yu Ran외 2명|arXiv (Cornell University)|2023. 09. 24.

Adversarial Robustness in Machine LearningComputer Science인용 수 3

한 줄 요약

이 논문은 No-Reference 비디오 품질 평가(NR-VQA) 모델에서의 적대적 내성에 대한 첫 번째 종합적인 연구를 제안하며, 엄격한 $L_2$ 및 $L_\infty$ 노름 제약 조건을 통해 눈에 띄지 않는 편향을 유지하면서 품질 점수를 오도하기 위해 패치 기반 무작위 탐색 공격과 점수 반전 경계 손실을 도입한다. 이 방법은 효과적인 화이트박스 및_BLK박스 공격을 달성하며, 최신 SOTA NR-VQA 모델이 매우 취약함을 드러내며, 운동 임베딩이 강력한 내성 향상에 기여함을 보여준다.

ABSTRACT

No-Reference Video Quality Assessment (NR-VQA) plays an essential role in improving the viewing experience of end-users. Driven by deep learning, recent NR-VQA models based on Convolutional Neural Networks (CNNs) and Transformers have achieved outstanding performance. To build a reliable and practical assessment system, it is of great necessity to evaluate their robustness. However, such issue has received little attention in the academic community. In this paper, we make the first attempt to evaluate the robustness of NR-VQA models against adversarial attacks, and propose a patch-based random search method for black-box attack. Specifically, considering both the attack effect on quality score and the visual quality of adversarial video, the attack problem is formulated as misleading the estimated quality score under the constraint of just-noticeable difference (JND). Built upon such formulation, a novel loss function called Score-Reversed Boundary Loss is designed to push the adversarial video's estimated quality score far away from its ground-truth score towards a specific boundary, and the JND constraint is modeled as a strict $L_2$ and $L_\infty$ norm restriction. By this means, both white-box and black-box attacks can be launched in an effective and imperceptible manner. The source code is available at https://github.com/GZHU-DVL/AttackVQA.

연구 동기 및 목표

• 비디오 품질 평가 분야에서 다소 간과된 중요한 문제인 최신 SOTA NR-VQA 모델의 적대적 공격에 대한 내성에 대해 탐구하는 것.
• 이전 연구의 한계—작은 테스트 세트, JND 제약의 부재, 비효율적 블랙박스 공격—를 해결하기 위해 더 현실적이고 엄격한 공격 문제를 설정하는 것.
• 시각적 품질을 유지하면서도 예측된 품질 점수를 크게 왜곡하는 새로운 효과적이고 눈에 띄지 않는 공격 방법을 개발하는 것.
• 운동 임베딩과 같은 아키텍처 구성 요소가 적대적 편향에 대한 모델의 내성에 미치는 영향을 평가하는 것.
• 취약점을暴露하고 핵심 방어 메커니즘을 특정함으로써 더 신뢰성 있고 내성적인 NR-VQA 시스템을 구축하는 데 통찰을 제공하는 것.

제안 방법

• NR-VQA 모델의 적대적 공격를 제약 조건이 있는 최적화 문제로 공식화: 실제 MOS에서 예측된 품질 점수를 왜곡하면서도 편향은 JND 임계값 이하로 유지.
• 모델의 예측 점수가 실제 MOS에서 멀어지도록 유도하기 위해 점수 반전 경계 손실을 도입하여 공격 효과를 향상.
• 눈에 띄지 않음을 보장하기 위해 편향에 엄격한 $L_2$ 및 $L_\infty$ 노름 제약 조건을 적용(각각 3/255 및 5/255), 정의된 Just-Noticeable Difference(JND) 제약 조건을 모델링.
• 목표 모델의 기울기 정보가 없는 블랙박스 공격을 위해 패치 기반 무작위 탐색 전략을 활용.
• 조정 가능한 프레임 비율 $T$를 가진 다중 프레임 최적화 전략을 사용하며, $T=1$일 경우 블랙박스 환경에서 가장 강력한 공격 효과를 낼 수 있음(프레임 수준의 적응 가능성 덕분).
• 운동 임베딩의 역할을 평가하기 위해 운동 임베딩이 있는 모델과 없는 모델을 비교하여, 운동 임베딩이 내성에 긍정적인 영향을 미침을 입증.

실험 결과

연구 질문

• RQ1 최신 SOTA NR-VQA 모델은 화이트박스 및 블랙박스 환경 모두에서 얼마나 취약한가?
• RQ2 JND 제약 조건을 준수하면서도 품질 점수를 크게 왜곡할 수 있는 효과적이고 눈에 띄지 않는 적대적 공격를 NR-VQA 모델에 설계할 수 있는가?
• RQ3 운동 임베딩과 같은 아키텍처 구성 요소가 NR-VQA 모델의 적대적 편향에 대한 내성에 어떤 영향을 미치는가?
• RQ4 편향된 프레임 수가 화이트박스 및 블랙박스 환경에서 공격 성공률과 쿼리 효율성에 어떤 영향을 미치는가?
• RQ5 기울기 정보 없이도 패치 기반 무작위 탐색 방법이 강력한 블랙박스 공격 성능을 달성할 수 있는가?

주요 결과

• BVQA-2022 및 VSFA와 같은 최신 SOTA NR-VQA 모델은 적대적 공격에 매우 취약하며, KoNViD-1k에서 전체 프레임 편향 공격 시 SRCC가 -0.7198로 급격히 하락함.
• 제안된 점수 반전 경계 손실은 실제 MOS에서 예측 점수를 멀리 밀어내어 효과적인 점수 오분류를 가능하게 하여 공격 성능을 크게 향상시킴.
• 운동 임베딩은 모델의 내성을 향상시키며, BVQA-2022의 경우 SRCC를 0.2598 향상시키고 VSFA의 경우 0.2068 향상시키며, 시간적 모델링이 공간적 편향에 대한 저항력을 강화함을 시사.
• 블랙박스 공격 성능은 편향된 프레임 수가 적어질수록 급격히 악화되며, 프레임의 1/10만 편향된 경우 효과적인 공격가 불가능하여 쿼리 효율성의 과제를 드러냄.
• 엄격한 $L_2$ 및 $L_\infty$ 노름 제약 조건(각각 3/255 및 5/255) 하에서도 공격가 효과적으로 유지됨을 확인하여, 편향이 눈에 띄지 않으며 JND 임계값 이하임을 입증.
• 패치 기반 무작위 탐색 방법은 효과적인 블랙박스 공격 성능을 달성하며, 목표 모델의 기울기 정보가 없더라도 강력한 공격가 가능함을 보여줌.