[논문 리뷰] Reverse Engineering of Generative Models: Inferring Model Hyperparameters from Generated Images
이 논문은 생성 모델의 하이퍼파rameter—예를 들어 네트워크 아키텍처와 손실 함수—를 생성된 이미지만으로 추론하는 새로운 역공학 기법인 모델 파싱을 소개한다. Fingerprint Estimation Network (FEN)을 제안하며 네 가지 제약 조건과 파싱 네트워크 (PN)를 통해, 116개의 생성 모델을 포함하는 대규모 데이터셋에서 높은 정확도로 미리 보지 않은 모델로 일반화되는 최신 기술 성능을 달성한다. 이는 딥페이크 탐지 및 이미지 소속 확인 분야에서 최고 성능을 기록한다.
State-of-the-art (SOTA) Generative Models (GMs) can synthesize photo-realistic images that are hard for humans to distinguish from genuine photos. Identifying and understanding manipulated media are crucial to mitigate the social concerns on the potential misuse of GMs. We propose to perform reverse engineering of GMs to infer model hyperparameters from the images generated by these models. We define a novel problem, ``model parsing", as estimating GM network architectures and training loss functions by examining their generated images -- a task seemingly impossible for human beings. To tackle this problem, we propose a framework with two components: a Fingerprint Estimation Network (FEN), which estimates a GM fingerprint from a generated image by training with four constraints to encourage the fingerprint to have desired properties, and a Parsing Network (PN), which predicts network architecture and loss functions from the estimated fingerprints. To evaluate our approach, we collect a fake image dataset with $100$K images generated by $116$ different GMs. Extensive experiments show encouraging results in parsing the hyperparameters of the unseen models. Finally, our fingerprint estimation can be leveraged for deepfake detection and image attribution, as we show by reporting SOTA results on both the deepfake detection (Celeb-DF) and image attribution benchmarks.
연구 동기 및 목표
- 생성된 이미지만 제공될 때 생성 모델을 역공학하는 데 도전하는 것, 특히 훈련 데이터나 가중치에 접근할 수 없는 새로운 모델에 대해서도 적용 가능한 것.
- 생성 모델의 하이퍼파rameter—아키텍처 및 손실 함수 등—을 생성된 이미지에서 추론하는 새로운 문제인 '모델 파싱'을 정의하고 해결하는 것.
- 이중 딥페이크 탐지나 닫힌 집합 내 이미지 소속 확인을 넘어선, 알려지지 않은 생성 모델을 포함한 열린 집합 인식을 지원하는 프레임워크를 개발하는 것.
- 기준으로 사용하기 위해 116개의 다양한 생성 모델에서 온 10만 장의 이미지로 구성된 대규모 데이터셋을 수집하고 공개하는 것.
- 모델 지문을 추출하여 합성 미디어의 포렌식 분석을 가능하게 하며, 소속 확인 및 탐지에 기여하는 것.
제안 방법
- 두 단계 프레임워크 제안: 생성된 이미지에서 모델 고유의 임베딩을 추출하는 지문 추정 네트워크 (FEN), 그 다음 하이퍼파rameter를 예측하는 파싱 네트워크 (PN)를 순차적으로 적용.
- FEN에 신원, 대비, 재구성, 적대적 네 가지 훈련 제약 조건을 도입하여, 기반 모델의 특징을 구분 가능하고, 불변적이며 일반화 가능한 지문을 확보한다.
- 생성 모델 간의 구조적 유사성을 활용하여, 계층적 학습 방식을 통해 하이퍼파rameter를 거친-세밀한 단계로 파싱한다.
- 81개의 GAN과 13개의 VAE를 포함한 116개의 다른 생성 모델에서 온 10만 장의 이미지 대규모 데이터셋을 기반으로 FEN를 비지도 학습 방식으로 훈련한다.
- 학습된 지문을 후속 작업에 적용: 이미지 소속 확인을 위해 미세조정하고, RGB/단계 특징과 조합하여 딥페이크 탐지에 활용한다.
- 동일한 지문 표현을 사용해 딥페이크 탐지, 이미지 소속 확인, 모델 파싱을 모두 지원하는 통합 프레임워크를 구현한다.
실험 결과
연구 질문
- RQ1생성된 이미지만으로, 가중치나 훈련 데이터에 접근하지 못하는 상황에서 생성 모델의 하이퍼파rameter—아키텍처 및 손실 함수—를 추론할 수 있는가?
- RQ2학습 중에 보지 못한 생성 모델의 이미지를 탐지하고 소속을 확인하는 데, 학습된 지문 표현이 효과적으로 일반화되는가?
- RQ3다양한 아키텍처와 손실 함수에 걸쳐, 제안된 지문 추정 네트워크가 모델 고유의 특징을 얼마나 잘 포착하는가?
- RQ4기존 방법에 비해 지문 기반 접근 방식이 새로운 모델에 대해 딥페이크 탐지 및 이미지 소속 확인에서 더 효과적인가?
- RQ5동일한 기반 생성 모델을 사용하는 협업된 오락성 정보 유포 캠페인을 탐지하는 데 지문을 활용할 수 있는가?
주요 결과
- 제안된 모델 파싱 프레임워크는 Celeb-DF 벤치마크에서 기존 방법에 비해 최신 기술 성능을 달성하며, 픽셀 수준의 지도 학습을 사용하지 않음에도 불구하고 성능을 뛰어넘었다.
- Celeb-DF 데이터셋에서, 다른 방법들이 더 고급 기반 네트워크와 추가 지도 정보를 사용함에도 불구하고, 본 방법은 모든 비교 방법 중 가장 높은 AUC 성능 기록.
- 학습 중에 보지 못한 생성 모델로도 지문 추정 네트워크가 효과적으로 일반화되며, 테스트 이미지가 모두 새로운 모델에서 유래한 경우 약 30% 이하의 오분류율 기록.
- CelebA 및 LSUN 데이터셋에서의 이미지 소속 확인 성능은 기존 작업을 초월하여, 지문의 강건성과 다양한 데이터 분포 간의 일반화 능력을 입증.
- 분류 작업을 위해 파싱 네트워크를 미세조정하면 사전 학습된 지문을 사용할 때보다 성능이 떨어지며, 이는 지문이 전체 네트워크보다 탐지에 더 정보가 많음을 시사.
- 프레임워크는 열린 집합 인식으로도 효과적으로 일반화되어, 이전에 보지 못한 생성 모델의 이미지를 고신뢰도로 탐지할 수 있었다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.