[논문 리뷰] Multi-task Learning For Detecting and Segmenting Manipulated Facial Images and Videos

Huy H. Nguyen, Fuming Fang외 2명|arXiv (Cornell University)|2019. 06. 17.

Digital Media Forensic Detection참고 문헌 31인용 수 40

한 줄 요약

이 논문은 Y-형 오토인코더를 도입하여 조작된 얼굴 이미지/비디오를 공동으로 감지하고 조작된 영역을 분할하며, 반지도 학습을 통해 두 작업을 향상시키고 보지 못한 공격에 일반화한다.

ABSTRACT

Detecting manipulated images and videos is an important topic in digital media forensics. Most detection methods use binary classification to determine the probability of a query being manipulated. Another important topic is locating manipulated regions (i.e., performing segmentation), which are mostly created by three commonly used attacks: removal, copy-move, and splicing. We have designed a convolutional neural network that uses the multi-task learning approach to simultaneously detect manipulated images and videos and locate the manipulated regions for each query. Information gained by performing one task is shared with the other task and thereby enhance the performance of both tasks. A semi-supervised learning approach is used to improve the network's generability. The network includes an encoder and a Y-shaped decoder. Activation of the encoded features is used for the binary classification. The output of one branch of the decoder is used for segmenting the manipulated regions while that of the other branch is used for reconstructing the input, which helps improve overall performance. Experiments using the FaceForensics and FaceForensics++ databases demonstrated the network's effectiveness against facial reenactment attacks and face swapping attacks as well as its ability to deal with the mismatch condition for previously seen attacks. Moreover, fine-tuning using just a small amount of data enables the network to deal with unseen attacks.

연구 동기 및 목표

• 이미지와 비디오에서 조작된 얼굴 콘텐츠의 강건한 탐지를 촉진한다.
• 진위 여부를 분류하고 조작된 영역을 현지화하는 시스템을 개발한다.
• 분류와 분할 성능을 향상시키기 위해 작업 간 정보 공유를 탐색한다.
• Semi-supervised 학습을 활용하여 보지 못한 공격에 대한 일반화를 향상시킨다.

제안 방법

• 컨볼루션 신경망을 제안한다: 인코더와 Y-형 디코더를 사용해 공동 감지 및 분할.
• 활성화 기반 잠재 공간 분할을 사용하여 정보를 적합한 디코더 분기에 라우팅한다.
• 세 가지 손실: 활성화 손실, 분할 손실, 재구성 손실을 동일 가중치로 결합해 훈련한다.
• 일반화 향상을 위한 반지도 학습 체제를 적용한다.
• FaceForensics 및 FaceForensics++ 데이터셋에서 매치/매치 실패 및 unseen-attack 시나리오 포함 평가.
• 작은 샘플로 미세 조정하여 unseen attacks에 적응한다.

실험 결과

연구 질문

• RQ1 다중 작업 자동인코더가 얼굴 콘텐츠의 조작을 공동으로 감지하고 조작된 영역을 현지화할 수 있는가?
• RQ2 분류, 분할 및 재구성 작업 간 정보 공유가 단일 작업 벤치마크보다 성능을 개선하는가?
• RQ3 모델은 unseen attacks 및 다양한 압축 수준에 얼마나 잘 일반화되는가?
• RQ4 적은 양의 미세 조정으로 모델을 새로운 조작 방법에 적응시킬 수 있는가?

주요 결과

• 더 깊은 네트워크가 더 얕은 벤치마크보다 분류 정확도를 크게 향상시킨다(예: Deeper_FT가 Test 1에서 93.63% 정확도).
• 동일 작업 가중치를 갖는 새로운 설정(New setting)은 강력한 분할 정확도를 제공한다(예: Test 1에서 90.27%)와 경쟁력 있는 분류 성능.
• 재구성 분기 및 잔차 입력 변형은 불일치 조건에 대한 강인성을 높이고 분할에 도움을 준다.
• Unseen attacks는 모든 방법에서 정확도를 크게 감소시키지만 분할은 상대적으로 정보를 제공한다(예: Test 4에서 분할이 의미 있게 남아 있음).
• 작은 양의 데이터로 미세 조정하면 분류와 분할이 상당히 개선된다—FT_Res, No_Recon, 및 Proposed_New가 뚜렷한 향상을 보인다.
• 제안된 접근 방식은 일부 벤치마크보다 unseen attacks에 더 빠르게 적응하며 오디오-비주얼 도메인으로의 확장을 지원한다.