[논문 리뷰] Multi-clue reconstruction of sharing chains for social media images

Sebastiano Verde, Cecilia Pasquini외 5명|arXiv (Cornell University)|2021. 08. 05.

Digital Media Forensic Detection인용 수 4

한 줄 요약

이 논문은 DCT, 메타데이터 등의 콘텐츠 기반 및 이미지 헤더 기반 특징을 융합하여 소셜 미디어 플랫폼 간 이미지 공유 체인을 재구성하기 위한 지도 학습 기반의 계층적 프레임워크를 제안한다. 시스템은 최대 세 단계의 공유 단계를 추적할 때 81%의 정확도를 달성하며, 트위터 업로드의 파괴적 특징을 조기에 감지함으로써 성능이 향상된다.

ABSTRACT

The amount of multimedia content shared everyday, combined with the level of realism reached by recent fake-generating technologies, threatens to impair the trustworthiness of online information sources. The process of uploading and sharing data tends to hinder standard media forensic analyses, since multiple re-sharing steps progressively hide the traces of past manipulations. At the same time though, new traces are introduced by the platforms themselves, enabling the reconstruction of the sharing history of digital objects, with possible applications in information flow monitoring and source identification. In this work, we propose a supervised framework for the reconstruction of image sharing chains on social media platforms. The system is structured as a cascade of backtracking blocks, each of them tracing back one step of the sharing chain at a time. Blocks are designed as ensembles of classifiers trained to analyse the input image independently from one another by leveraging different feature representations that describe both content and container of the media object. Individual decisions are then properly combined by a late fusion strategy. Results highlight the advantages of employing multiple clues, which allow accurately tracing back up to three steps along the sharing chain.

연구 동기 및 목표

• 소셜 미디어에서의 이미지 공유 역사를 재구성하여 원본 식별 및 가짜 정보 방지에 기여하는 데 도전한다.
• 반복적인 공유 및 플랫폼 변환으로 인해 성능이 저하되는 전통적 미디어 포렌식의 한계를 극복한다.
• 이질적인 포렌식 특징을 활용하여 다수의 공유 단계를 추적할 수 있는 확장 가능한 지도 학습 프레임워크를 개발한다.
• 특정 플랫폼(특히 트위터)이 공유된 이미지의 포렌식 추적 가능성에 미치는 파괴적 영향을 조사한다.
• 계층적 아키텍처에서 후기 융합 전략을 통해 콘텐츠 기반 및 컨테이너 기반 특징을 융합함으로써 재구성 정확도를 향상시킨다.

제안 방법

• 각각 공유 체인에서 한 단계 앞선 공유 단계를 식별하는 데 전담된 백트래킹 블록의 계층적 구조를 설계한다.
• DCT 계수, 메타데이터(META), 이미지 헤더 데이터(HEADER)와 같은 서로 다른 특징 표현 방식에 대해 개별 분류기를 훈련시킨다.
• 다양한 분류기의 결정을 융합하기 위해 후기 융합 전략을 적용하여 정확도와 강인성을 향상시킨다.
• 신호 기반 포렌식 단서를 보완하기 위해 이미지 파일 헤더에서 추출한 새로운 컨테이너 기반 특징 세트를 제안한다.
• 불확실한 예측을 걸러내기 위한 거부 메커니즘을 구현하며, 핵심 개선 사항으로는 트위터 업로드를 감지할 경우 재구성 과정을 중단함으로써 구현한다.
• 모호한 공유 패턴(예: *-*TW 및 *TW-*)을 더 넓은 클래스로 묶는 계층적 클래스 감소 전략을 도입하여, 후속 단계에서의 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 이미지 콘텐츠 및 컨테이너(헤더)에서 유도된 포렌식 특징을 얼마나 잘 융합하여 다중 플랫폼 공유 체인을 재구성할 수 있는가?
• RQ2 트위터 업로드의 존재가 체인 내 이전 공유 단계의 추적 가능성에 어떤 영향을 미치는가?
• RQ3 계층적 다중 단서 분류 프레임워크는 단일 특징 기반 접근 방식보다 이미지 공유 역사를 재구성하는 데서 더 우수한 성능을 보일 수 있는가?
• RQ4 다양한 포렌식 특징(DCT, 메타데이터, 헤더)을 최대한 융합하여 재구성 정확도를 극대화하기 위한 최적의 융합 전략은 무엇인가?
• RQ5 트위터 업로드를 조기에 감지함으로써 그 파괴적인 특성에도 불구하고 전체 재구성 성능 향상에 얼마나 효과적인가?

주요 결과

• DCT, 메타데이터, 헤더 기반 특징의 융합은 세 번째 이전 단계(F_{-2})에서 81.05%의 정확도를 달성하였으며, 거부율은 3.77%였다.
• 헤더 기반 특징의 포함으로 F_{-1} 및 F_{-2} 단계에서 성능이 크게 향상되었으며, DCT 및 메타데이터와 융합했을 때 F_{-2}에서 90.57%의 정확도와 0.10%의 거부율을 기록했다.
• 트위터 업로드가 포렌식 추적 가능성에 매우 파괴적인 영향을 미치는 것으로 밝혀졌으며, 특히 다른 플랫폼에 이어질 경우 다중 플랫폼 체인에서 혼동을 야기했다.
• 지능형 계층적 시스템은 트위터 업로드를 감지할 경우 재구성 과정을 중단함으로써 거부율을 크게 감소시켰으며, 특히 F_{-2} 단계에서 효과적이었다.
• 혼동 행렬 분석 결과, 같은 플랫폼이 연속으로 나타날 경우(예: FB-FB) 주로 오분류가 발생했으며, 이는 반복적인 플랫폼 사용을 구분하는 데 어려움이 있음을 시사한다.
• 단일 분류기의 성능은 깊이 있는 단계에서 열등했다: DCT만 사용했을 경우 F_{-2}에서 정확도가 51.04%에 머물렀고, HEADER만 사용했을 경우 56.23%에 그쳤다. 이는 다중 단서 융합의 必요성을 강력히 시사한다.