[논문 리뷰] Multi-spectral Class Center Network for Face Manipulation Detection and Localization

Changtao Miao, Qi Chu외 8명|arXiv (Cornell University)|2023. 05. 18.

Face recognition and analysis인용 수 5

한 줄 요약

이 논문은 다중 스펙트럼 클래스 중심을 활용하여 의미 무관성, 주파수 인지 특징 및 다중 수준 특징 통합을 통해 허위 얼굴 탐지 및 국소화를 향상시키는 새로운 프레임워크인 다중 스펙트럼 클래스 중심 네트워크(MSCCNet)를 제안한다. 이는 새로 구축된 고품질의 픽셀 수준 주석이 부여된 FaceForensics++ 벤치마크에서 77.22%의 mIoU를 기록하며 최신 기술 수준의 성능을 달성한다.

ABSTRACT

As deepfake content proliferates online, advancing face manipulation forensics has become crucial. To combat this emerging threat, previous methods mainly focus on studying how to distinguish authentic and manipulated face images. Although impressive, image-level classification lacks explainability and is limited to specific application scenarios, spurring recent research on pixel-level prediction for face manipulation forensics. However, existing forgery localization methods suffer from exploring frequency-based forgery traces in the localization network. In this paper, we observe that multi-frequency spectrum information is effective for identifying tampered regions. To this end, a novel Multi-Spectral Class Center Network (MSCCNet) is proposed for face manipulation detection and localization. Specifically, we design a Multi-Spectral Class Center (MSCC) module to learn more generalizable and multi-frequency features. Based on the features of different frequency bands, the MSCC module collects multi-spectral class centers and computes pixel-to-class relations. Applying multi-spectral class-level representations suppresses the semantic information of the visual concepts which is insensitive to manipulated regions of forgery images. Furthermore, we propose a Multi-level Features Aggregation (MFA) module to employ more low-level forgery artifacts and structural textures. Meanwhile, we conduct a comprehensive localization benchmark based on pixel-level FF++ and Dolos datasets. Experimental results quantitatively and qualitatively demonstrate the effectiveness and superiority of the proposed MSCCNet. We expect this work to inspire more studies on pixel-level face manipulation localization. The codes are available (https://github.com/miaoct/MSCCNet).

연구 동기 및 목표

• 기존의 얼굴 조작 데이터셋에서 정밀하고 일관된 픽셀 수준 주석이 부족하여 국소화 방법의 신뢰성 있는 평가 및 비교가 어렵다는 문제를 해결한다.
• FaceForensics++ 데이터셋을 기반으로 기술 인식 가능한 픽셀 수준 마스크로 개선된 주석을 재작성하여 얼굴 조작 국소화를 위한 종합적인 벤치마크를 구축한다.
• 의미적 편향을 억제하고 주파수 의존성 있는 조작 흔적을 더 잘 탐지하기 위해 주파수 특성에 민감한 표현 학습을 가능하게 하는 딥 러닝 프레임워크를 개발한다.
• 다중 수준 특징 통합 모듈을 통해 저수준의 조작 흔적과 고수준의 의미적 특징을 융합하여 국소화 성능을 향상시킨다.
• 다중 스펙트럼 클래스 중심을 통한 주파수 기반 표현 학습이 시각적 의미에 영향을 받지 않는 조작 흔적 모델링에 어떻게 기여하는지 입증한다.

제안 방법

• 2D DCT 필터를 사용해 특징을 주파수 대역으로 분해함으로써 주파수별 표현 학습이 가능한 다중 스펙트럼 클래스 중심(MSCC) 모듈을 제안한다.
• 각 주파수 대역 별로 클래스 중심을 계산하고, 그래프 컨volution 네트워크(GCN)를 활용해 클래스 수준 표현 간의 교차 주파수 상호작용과 일관성을 향상시킨다.
• 픽셀과 클래스 중심 간의 관계에서 유도된 가중치가 부여된 어텐션 맵을 적용하여 깊은 특징을 보정하고 조작 흔적과 관련이 없는 의미 정보를 억제한다.
• 다양한 스테이지의 특징을 연결함으로써 저수준 텍스처와 조작 흔적을 유지하는 다중 수준 특징 통합(MFA) 모듈을 통합한다.
• Cross-entropy 손실과 Dice 손실을 함께 사용하는 분류 헤드를 활용해 픽셀 수준 국소화를 최적화하고, MSCCNet 아키텍처와 함께 엔드 투 엔드로 훈련한다.
• DCT 기반 주파수 분해를 활용해 조작 흔적이 가장 두드러지는 고주파 성분을 분리함으로써 미세한 조작에 대한 감도를 향상시킨다.

실험 결과

연구 질문

• RQ1 다중 스펙트럼 표현 학습이 의미 콘텐츠에 대한 의존도를 줄임으로써 얼굴 조작 국소화 모델의 일반화 능력과 강건성을 향상시키는가?
• RQ2 다양한 주파수 대역에서 조작 흔적을 모델링하는 것이 전통적인 특징 학습 방식에 비해 국소화 정확도를 어떻게 향상시키는가?
• RQ3 다중 수준 특징 통합을 통해 저수준의 조작 전용 텍스처를 통합할 경우, 미세한 조작 흔적 탐지 능력이 얼마나 향상되는가?
• RQ4 GCN 및 DCT 필터와 같은 아키텍처 구성 요소가 MSCCNet 프레임워크의 성능 향상에 기여하는 방식은 무엇인가?
• RQ5 새로 구축된 고품질의 픽셀 수준 주석이 부여된 벤치마크가 얼굴 조작 국소화 방법의 더 신뢰성 있고 비교 가능한 평가를 가능하게 하는가?

주요 결과

• 제안된 MSCCNet은 새로 구축된 고품질 픽셀 수준 주석이 부여된 FaceForensics++ 벤치마크에서 평균 교차율(mIoU) 77.22%를 달성하여 기존 방법들을 능가한다.
• 제거 실험 결과 DCT 필터를 제거할 경우 mIoU가 75.92%로 1.3% 감소함을 확인하여 주파수 분해가 조작 흔적을 포착하는 데 중요한 역할을 함을 입증한다.
• GCN 레이어를 통한 교차 주파수 상호작용 향상으로 mIoU가 0.6% 향상되어 76.62%에서 77.22%로 상승함을 확인한다.
• DCT의 변환 기저를 16개로 설정할 경우 mIoU가 76.70%로 감소하여 너무 많은 주파수 성분이 예측 어려움을 증가시켜 성능 저하를 유발함을 보여준다.
• MFA 모듈에서 특징의 연결(concatenation)이 덧셈(addition)보다 더 높은 성능을 보이며, mIoU는 덧셈일 때 76.66%에서 연결일 때 77.22%로 상승한다.
• 이 모델은 이미지 수준 정확도 88.07%와 AUC 87.61%를 기록하여 국소화 외에도 이진 분류 작업에서 뛰어난 성능을 보임을 입증한다.