[논문 리뷰] Generate, Segment and Refine: Towards Generic Manipulation Segmentation

Peng Zhou, Bor-Chun Chen외 5명|arXiv (Cornell University)|2018. 11. 24.

Digital Media Forensic Detection참고 문헌 41인용 수 11

한 줄 요약

이 논문은 GAN 기반 생성기와 경계 인식 세그멘테이션 및 정련 파이pline을 활용하여 데이터 부족 문제를 해결하고, 일반적인 조작 분할을 위한 새로운 프레임워크인 GSR-Net을 제안한다. 이는 조작의 경계 수준에서의 증상에 집중함으로써, 의미적 콘텐츠보다는 조작의 흔적을 더 잘 탐지할 수 있도록 한다. 이 방법은 네 가지 벤치마크 데이터셋에서 최신 기술 성능(SOTA)을 달성한다.

ABSTRACT

Detecting manipulated images has become a significant emerging challenge. The advent of image sharing platforms and the easy availability of advanced photo editing software have resulted in a large quantities of manipulated images being shared on the internet. While the intent behind such manipulations varies widely, concerns on the spread of fake news and misinformation is growing. Current state of the art methods for detecting these manipulated images suffers from the lack of training data due to the laborious labeling process. We address this problem in this paper, for which we introduce a manipulated image generation process that creates true positives using currently available datasets. Drawing from traditional work on image blending, we propose a novel generator for creating such examples. In addition, we also propose to further create examples that force the algorithm to focus on boundary artifacts during training. Strong experimental results validate our proposal.

연구 동기 및 목표

• 수기 레이블링이 필요한 노동 집약적인 과정으로 인해 조작된 이미지 분할을 위한 종합적인 훈련 데이터 부족 문제를 해결하기 위해.
• 실제 세계의 조작 방식을 모방하는 어려운, 현실적인 조작된 이미지 예제를 생성하여 일반화 성능을 향상시키기 위해.
• 의미적 콘텐츠보다는 조작의 흔적을 나타내는 핵심 지표인 경계 이상 징후에 모델의 주의를 집중시키기 위해.
• 반복적인 정련을 통해 미세한 조작 징후를 탐지할 수 있도록 하는 자기 정련 훈련 루프를 개발하기 위해.
• 특수하게 레이블링된 데이터셋에 의존하지 않고도 효과적인 세그멘테이션을 가능하게 하기 위해 COCO 스타일의 객체 레이블링만을 사용하기 위해.

제안 방법

• 복사-붙여넣기 방식의 이미지에서 하드 예제를 생성하기 위해, 블렌딩 기반 목적 함수를 최적화하는 GAN 기반 생성기를 제안한다.
• 세 단계로 구성된 GSR-Net 아키텍처 설계: (1) 복사-붙여넣기 방식의 이미지에서 하드 예제 생성, (2) 특징 연결을 통한 경계 유도 세그멘테이션, (3) 예측된 경계를 진짜 영역으로 대체하여 새로운 훈련 샘플을 생성하는 정련.
• 조작 이상 징후를 탐지하는 경계 브랜치와 경계 예측 기반으로 내부를 채우는 세그멘테이션 브랜치를 통합한다.
• 정련 단계를 통해 새로운 경계 이상 징후를 가진 현실적인 조작된 이미지를 생성하고, 이를 다시 세그멘테이션 네트워크에 피드백하여 지속적인 학습을 유도한다.
• 경계 정확도 향상과 기능 표현 개선을 위해 세그멘테이션 네트워크의 저수준 특징을 활용한다.
• 정련 단계에서 공유된 가중치를 사용하여 전체 프레임워크를 엔드 투 엔드로 훈련함으로써 효율적인 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 GAN 기반 생성기가 분류 일반화 성능 향상에 기여할 수 있는 현실적이고 탐지하기 어려운 조작된 이미지 예제를 생성할 수 있는가?
• RQ2 의미적 콘텐츠보다는 경계 이상 징후에 집중할 경우, 이미지 조작 탐지 성능이 향상되는가?
• RQ3 반복적으로 새로운 예제와 새로운 경계 이상 징후를 생성하는 자기 정련 훈련 루프는 모델의 강건성 향상에 기여하는가?
• RQ4 특수하게 레이블링된 데이터셋에 의존하지 않고 COCO 스타일의 객체 레이블링만으로 훈련된 모델이 조작 분할에 얼마나 잘 일반화되는가?
• RQ5 JPEG 압축 및 이미지 스케일링 공격에 대한 강건성 측면에서 제안된 프레임워크는 기존 방법보다 어떻게 비교되는가?

주요 결과

• GSR-Net은 네 가지 벤치마크 데이터셋에서 최신 기술 성능(SOTA)을 달성했다: Carvalho에서 0.418, In-The-Wild에서 0.479, COVER에서 0.381, CASIA에서 0.331을 기록하며 이전 방법들을 능가했다.
• 정련 단계(CP + G)는 베이스라인(CP + S) 대비 Carvalho에서 6.5% 향상되고 In-The-Wild에서 9.3% 향상되어 경계 이상 징후에 집중하는 것이 효과적임을 입증했다.
• 생성된 이미지(DL + G)를 사용할 경우 복사-붙여넣기 이미지(DL + CP)만 사용하는 것보다 성능이 뛰어나며, 둘을 조합한(DL + CP + G) 경우 최고의 성능을 기록하여 상호 보완적 이점이 있음을 보여주었다.
• JPEG 압축 및 이미지 스케일링 공격에 대해서도 안정적인 성능 유지를 보였으며, RGB-N, EXIF-selfconsistency, MFCN보다 강건성 면에서 뛰어났다.
• CASIA 2.0의 조작된 데이터를 사용하지 않고 COCO 객체 레이블링만으로 훈련된 GSR-Net도 CASIA에서 F1 스코어 0.331을 기록하여 뛰어난 일반화 능력을 보였다.
• 정성적 결과에서 경계 브랜치는 미세한 조작 이상 징후를 성공적으로 탐지하였고, 세그멘테이션 브랜치는 스플리싱 및 복사-이동 조작 모두에서 조작된 영역을 정확히 채워내는 데 성공했다.