[논문 리뷰] BLADERUNNER: Rapid Countermeasure for Synthetic (AI-Generated) StyleGAN Faces

Adam Dorian Wong|arXiv (Cornell University)|2022. 10. 12.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

BLADERUNNER는 반복적인 얼굴 지점 패턴을 활용하여 AI로 생성된 StyleGAN 얼굴을 신속하고 오픈소스로 탐지할 수 있는 대응 조치를 제안한다. DLIB의 68개 지점 모델을 사용하여 얼굴 관건 분포의 통계적 이질성을 분석함으로써 합성 아티팩트를 식별하며, 높은 정확도와 낮은 지연 시간으로 소셜 미디어 환경에서 합성 얼굴을 실시간으로 탐지할 수 있다.

ABSTRACT

StyleGAN is the open-sourced TensorFlow implementation made by NVIDIA. It has revolutionized high quality facial image generation. However, this democratization of Artificial Intelligence / Machine Learning (AI/ML) algorithms has enabled hostile threat actors to establish cyber personas or sock-puppet accounts in social media platforms. These ultra-realistic synthetic faces. This report surveys the relevance of AI/ML with respect to Cyber & Information Operations. The proliferation of AI/ML algorithms has led to a rise in DeepFakes and inauthentic social media accounts. Threats are analyzed within the Strategic and Operational Environments. Existing methods of identifying synthetic faces exists, but they rely on human beings to visually scrutinize each photo for inconsistencies. However, through use of the DLIB 68-landmark pre-trained file, it is possible to analyze and detect synthetic faces by exploiting repetitive behaviors in StyleGAN images. Project Blade Runner encompasses two scripts necessary to counter StyleGAN images. Through PapersPlease acting as the analyzer, it is possible to derive indicators-of-attack (IOA) from scraped image samples. These IOAs can be fed back into AmongUs acting as the detector to identify synthetic faces from live operational samples. The opensource copy of Blade Runner may lack additional unit tests and some functionality, but the open-source copy is a redacted version, far leaner, better optimized, and a proof-of-concept for the information security community. The desired end-state will be to incrementally add automation to stay on-par with its closed-source predecessor.

연구 동기 및 목표

• 사이버 작전과 소셜 미디어 조작에 악용되는 증가하는 합성 AI 생성 얼굴의 위협을 해결하기 위해.
• 인간의 시각적 검토를 능가하는 자동화된 신속한 탐지 시스템을 개발하기 위해.
• 정보 보안 커뮤니티가 StyleGAN으로 생성된 얼굴을 탐지할 수 있도록 경량이고 오픈소스의 개념 증명을 제공하기 위해.
• 얼굴 지점 분석과 IOA(공격 지표) 생성을 통해 합성 얼굴을 확장 가능하고 실시간으로 탐지할 수 있도록 하기 위해.
• 향후 자동화 및 운영 사이버 보안 방어 체계에의 통합을 위한 기반을 마련하기 위해.

제안 방법

• 입력 이미지에서 얼굴 관건 좌표를 추출하기 위해 DLIB 68개 지점 사전 학습 모델을 활용한다.
• StyleGAN으로 생성된 얼굴에서 흔히 나타나는 비자연스러운 반복 패턴을 탐지하기 위해 얼굴 지점의 공간 일관성과 분포 패턴을 분석한다.
• PapersPlease 스크립트를 사용하여 스크래핑된 이미지 샘플에서 지점 구성의 통계적 이탈을 식별함으로써 IOA(공격 지표)를 추출한다.
• AmongUs를 실시간 탐지기로 활용하여 IOA를 적용해 실시간 운영 샘플을 합성 또는 실제 얼굴로 분류한다.
• IOA 추출과 실시간 탐지 기능을 담당하는 두 가지 핵심 스크립트로 구성된 모듈식 파이프라인을 설계하여 신속한 배포를 가능하게 한다.
• 성능과 유지보수성을 최적화하였지만, 약간의 단위 테스트와 고급 기능은 생략하여 간결함을 확보하였다.

실험 결과

연구 질문

• RQ1 사전 학습된 DLIB 모델을 사용하여 StyleGAN으로 생성된 얼굴의 반복적인 얼굴 지점 패턴을 신뢰성 있게 탐지할 수 있는가?
• RQ2 지점 이상 현상에서 유도된 IOA는 합성 얼굴과 실제 얼굴을 효과적으로 구분하는 데 사용될 수 있는가?
• RQ3 이 자동화된 시스템의 성능은 합성 얼굴 탐지에서 인간의 시각적 검토에 비해 어떻게 비교되는가?
• RQ4 오픈소스이자 경량인 이 시스템이 얼마나 실시간으로 AI로 생성된 얼굴을 탐지할 수 있는가?
• RQ5 이러한 시스템은 어떻게 점진적으로 향상되어 진화하는 합성 얼굴 생성 기법에 대응할 수 있는가?

주요 결과

• 시스템은 특히 반복적이거나 비자연스러운 패턴을 보이는 통계적 이질성을 보이는 얼굴 지점 분포를 탐지함으로써 합성 얼굴을 성공적으로 식별한다.
• DLIB의 사전 학습된 68개 지점 모델을 사용함으로써 재학습이나 복잡한 모델 없이도 높은 정확도의 탐지가 가능하다.
• 스크래핑된 데이터에서 IOA 추출 과정을 통해 대량의 합성 얼굴을 스케일러블하고 자동화된 방식으로 탐지할 수 있다.
• 탐지 파이프라인은 소셜 미디어 모니터링과 같은 실시간 운영 환경에 적합한 낮은 지연 시간 성능을 달성한다.
• 기능을 일부 생략한 오픈소스 버전이지만, 정보 보안 워크플로우에 배포 가능한 강력한 개념 증명의 타당성을 보여준다.
• 모듈식 설계 덕분에 향후 추가 탐지 히ュ리스틱과 자동화 기능을 통합하여 진화하는 합성 얼굴 생성 기법에 대응할 수 있다.