[논문 리뷰] Towards Generalizable and Robust Face Manipulation Detection via Bag-of-local-feature

Changtao Miao, Qi Chu외 4명|arXiv (Cornell University)|2021. 03. 14.

Face recognition and analysis참고 문헌 27인용 수 7

한 줄 요약

이 논문은 명시적 지도 없이 국소적 위조 특징을 학습할 수 있도록 백오프로컬피처를 강화한 트랜스포머를 활용하는 새로운 얼굴 위조 탐지 방법을 제안한다. 이는 교차 데이터셋 및 실제 세계의 변형 상황에서도 일반화 능력과 강건성을 크게 향상시킨다. 제안된 방법은 FaceForensics++, Celeb-DF, DeeperForensics-1.0에서 기존 방법들보다 뛰어난 성능을 기록하며, 추가 데이터나 마스크 지도 신호 없이도 승리한다.

ABSTRACT

Over the past several years, in order to solve the problem of malicious abuse of facial manipulation technology, face manipulation detection technology has obtained considerable attention and achieved remarkable progress. However, most existing methods have very impoverished generalization ability and robustness. In this paper, we propose a novel method for face manipulation detection, which can improve the generalization ability and robustness by bag-of-local-feature. Specifically, we extend Transformers using bag-of-feature approach to encode inter-patch relationships, allowing it to learn local forgery features without any explicit supervision. Extensive experiments demonstrate that our method can outperform competing state-of-the-art methods on FaceForensics++, Celeb-DF and DeeperForensics-1.0 datasets.

연구 동기 및 목표

• 교차 데이터셋 및 실제 세계의 변형 상황에서 기존 얼굴 위조 탐지 방법의 일반화 능력과 강건성 부족 문제를 해결하기 위해.
• 전역 이미지 통계에 의존하는 대신 미세하고 패치 기반인 국소적 위조 특징을 학습하여 탐지 성능을 향상시키기 위해.
• 비용이 많이 드는 데이터 증강이나 마스크 지도 신호 없이도 자율 지도형, 엔드 투 엔드 방법을 개발하기 위해.
• 시각 트랜스포머가 얼굴 위조 탐지와 같은 소규모 전용 데이터셋에 효과적으로 적용될 수 있음을 보여주기 위해.

제안 방법

• 입력 얼굴 이미지를 겹치지 않는 패치로 분할하여 백오프로컬패치를 구성한다.
• 각 패치는 컨볼루션 레이어를 통해 특징 벡터로 임bedding되며, 이는 백오프로컬피처 표현을 형성한다.
• 학습 가능한 1차원 위치 임베딩을 추가하여 패치 간의 공간적 관계를 유지한다.
• 자기주의사주의 트랜스포머 인코더를 적용하여 패치 간 관계를 모델링하고 구분 가능한 국소적 위조 패tern을 학습한다.
• 위조 영역에 대한 어떤 지도 신호 없이도 분류 손실만을 사용하여 엔드 투 엔드로 학습한다.
• 모델은 얼굴 이미지 전반에 걸쳐 국소 패치 수준의 일관성 없는 부분에 주목함으로써 미묘한 아티팩트를 암묵적으로 포착한다.

실험 결과

연구 질문

• RQ1 백오프로컬피처를 강화한 트랜스포머는 위조 영역에 대한 명시적 지도 없이도 구분 가능한 위조 특징을 학습할 수 있는가?
• RQ2 FaceForensics++에서만 훈련된 경우, 제안된 방법은 Celeb-DF와 같이 새로운 데이터셋에 어떻게 일반화되는가?
• RQ3 기존 SOTA 방법들과 비교해 실제 세계의 변형, 예를 들어 이미지 왜곡과 노이즈에 대해 이 방법은 얼마나 강건한가?
• RQ4 세밀하게 조정되지 않은 상태나 추가 데이터 없이도 시각 트랜스포머가 소규모 전용 얼굴 위조 탐지 데이터셋에 효과적으로 적용될 수 있는가?

주요 결과

• FaceForensics++에서 제안된 방법은 Celeb-DF(V1)에서 AUC 82.52%를 기록했으며, Celeb-DF(V2)에선 78.26%를 달성했고, 시간 정보나 추가 데이터를 사용하지 않음에도 불구하고 Face X-ray 및 Two-branch 방법을 능가했다.
• 표준 DF-1.0 테스트 세트에서 93.53%의 정확도를 기록했으며, Xception보다 5.15% 높았고, 혼합 왜곡 조건에서도 높은 성능(87.06% 정확도)을 유지했다.
• 어텐션 시각화 결과 모델이 배경이나 수정되지 않은 영역이 아닌 눈, 입, 입술과 같은 위조 영역에 집중하고 있음을 확인했다.
• 마스크 지도 신호나 합성 데이터에 의존하지도 않고도 모든 평가 기준에서 SOTA 모델을 능가했으며, 교차 데이터셋 일반화 및 실제 세계의 변형에 대한 강건성도 확보했다.
• 제거 실험 결과 백오프로컬피처 설계가 특히 미세한 국소 아티팩트 탐지에 있어 성능 향상에 크게 기여하는 것으로 확인되었다.
• 결과적으로 시각 트랜스포머가 최소한의 인덕티브 바이어스로 위조 탐지에 효과적으로 적용될 수 있으며, 위조 영역에 대한 명시적 지도 없이도 성능을 낼 수 있음을 입증했다.