[논문 리뷰] Exploiting Human Social Cognition for the Detection of Fake and Fraudulent Faces via Memory Networks

Tharindu Fernando, Clinton Fookes외 2명|arXiv (Cornell University)|2019. 11. 17.

Digital Media Forensic Detection참고 문헌 70인용 수 11

한 줄 요약

이 논문은 향후 의미적 임베딩을 예측하고 실제 얼굴 동역학과의 일관성 유지함으로써 인간의 사회적 인지 구조를 활용하여 위조 및 사기성 얼굴을 탐지하는 계층적 메모리 네트워크(HMN)를 제안한다. 새로운 메모리 아키텍처와 적대적 학습을 통해 기존 방법보다 우수한 성능을 보이며, 딥페이크 및 합성 얼굴을 탐지하는 데서 최신 기술 수준의 일반화 성능을 달성한다.

ABSTRACT

Advances in computer vision have brought us to the point where we have the ability to synthesise realistic fake content. Such approaches are seen as a source of disinformation and mistrust, and pose serious concerns to governments around the world. Convolutional Neural Networks (CNNs) demonstrate encouraging results when detecting fake images that arise from the specific type of manipulation they are trained on. However, this success has not transitioned to unseen manipulation types, resulting in a significant gap in the line-of-defense. We propose a Hierarchical Memory Network (HMN) architecture, which is able to successfully detect faked faces by utilising knowledge stored in neural memories as well as visual cues to reason about the perceived face and anticipate its future semantic embeddings. This renders a generalisable face tampering detection framework. Experimental results demonstrate the proposed approach achieves superior performance for fake and fraudulent face detection compared to the state-of-the-art.

연구 동기 및 목표

• 미리 경험하지 않은 변형 유형에 대한 위조 얼굴 탐지 모델의 일반화 능력에 대한 핵심적 격차를 해소하기 위해.
• 압축 및 품질 저하 조건에서도 이미지 및 영상에서 딥페이크와 사기성 얼굴을 탐지하는 데 있어 강건성을 향상시키기 위해.
• 얼굴 신호에서 정서 상태를 예측하는 인간의 사회적 인지 과정—특히 향후 의미적 임베딩을 예측함으로써—을 모델링하기 위해.
• 기억된 임베딩의 신원과 의미적 정합성을 유지하면서 위조 얼굴의 일관성 결여를 탐지할 수 있는 메모리 아키텍처를 개발하기 위해.
• 기존 신경 메모리 네트워크(예: NTM, TMN)가 장기적 의존성 모델링과 얼굴 특성의 유지에 한계를 보이는 점을 극복하기 위해.

제안 방법

• 모델은 입력 이미지에서 초기 얼굴 의미 임베딩을 추출하기 위해 사전 훈련된 ResNet을 사용한다.
• 이러한 임베딩은 순차적 관계와 시간적 맥락을 모델링하기 위해 양방향 GRU를 통해 처리된다.
• 계층적 메모리 모듈에 쿼리하기 전에 입력 수준의 어텐션을 적용하여 주목할 만한 얼굴 특징에 집중한다.
• 계층적 메모리 네트워크는 입력, 패치, 출력 수준의 다중 수준 어텐션을 활용하여 관련 정보를 추출하고 융합하면서 저장된 임베딩의 신원을 유지한다.
• 기존의 부분적 또는 혼합된 업데이트 방식을 피하기 위해, 인코딩된 얼굴 임베딩을 직접 메모리에 연결하는 새로운 메모리 업데이트 메커니즘을 도입한다.
• 가짜 대비 실재 임베딩의 향후 상태를 구분하는 디스커너와 이를 속이기 위한 생성자 간의 적대적 학습 프레임워크를 공동으로 훈련하며, 가짜 탐지 및 향후 예측을 위한 복합 손실 함수를 사용한다.

실험 결과

연구 질문

• RQ1 인간과 유사한 사회적 인지—특히 향후 얼굴 상태를 예측하는 것—을 모델링함으로써 위조 및 사기성 얼굴 탐지 성능을 향상시킬 수 있는가?
• RQ2 신경 메모리 아키텍처는 어떻게 설계되어야 하며, 실재 얼굴의 신원과 의미적 정합성을 유지하면서 동시에 합성 임베딩의 흐름을 탐지할 수 있는가?
• RQ3 계층적 어텐션과 메모리 조직은 미리 경험하지 않은 얼굴 변형 기법에 대한 일반화 능력을 얼마나 향상시키는가?
• RQ4 가짜 탐지 및 향후 임베딩 예측을 위한 복합 손실 함수를 함께 학습하는 적대적 학습 방식이 기존의 감독 학습 손실 함수보다 우월한가?
• RQ5 기존 메모리 네트워크(예: NTM, TMN)의 아키텍처적 한계는 효과적인 얼굴 위조 탐지에 어떤 영향을 미치며, HMN은 이를 어떻게 극복하는가?

주요 결과

• 제안된 HMN은 다양한 벤치마크에서 기존 방법보다 뛰어난 성능을 보이며 위조 및 사기성 얼굴 탐지에 최신 기술 수준의 성능을 달성한다.
• 모델은 훈련 중에 경험하지 않은 변형 유형에 대해 효과적으로 일반화되며, 특정 아티팩트에 국한되지 않은 강건성을 입증한다.
• 계층적 어텐션 메커니즘이 메모리 내에서 신원 일관성을 유지하면서도 관련 얼굴 특징을 더 정확하게 검색하는 데 기여한다.
• 적대적 학습 프레임워크는 가짜 탐지 및 향후 의미적 임베딩 예측 성능을 향상시키는 복합 손실 함수를 성공적으로 학습한다.
• HMN의 메모리 업데이트 메커니즘은 NTM 및 TMN와 달리 서로 다른 신원의 얼굴 특성을 혼합하는 것을 방지하여 합성 얼굴 아티팩트 탐지 능력을 향상시킨다.
• 시각화 결과는 메모리 모듈이 인간이 인식하는 얼굴의 연속성과 사회적 존재감과 일치하는 방식으로 저장된 얼굴 정보를 검색하고 추론함을 확인한다.