[논문 리뷰] ACM Multimedia Grand Challenge on Detecting Cheapfakes

Shivangi Aneja, Cise Midoglu외 6명|arXiv (Cornell University)|2022. 07. 29.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 뉴스 미디어에서 실제 이미지가 맥락을 벗어나 오용되는 경우를 식별하는 데 초점을 맞춘 ACM 멀티미디어 그랜드 챌린지인 '저가 위조 탐지'에 대해 기술한다. 이는 진짜 사진이 모순되거나 오해의 소지가 있는 캡션과 함께 사용되는 경우를 다루며, 이미지의 수정 없이도 잘못된 맥락을 탐지하는 모델을 평가하기 위해 COSMOS 데이터셋을 사용한다. 이는 탐지 성능과 모델 효율성 양측 모두를 중시한다.

ABSTRACT

Cheapfake is a recently coined term that encompasses non-AI (``cheap'') manipulations of multimedia content. Cheapfakes are known to be more prevalent than deepfakes. Cheapfake media can be created using editing software for image/video manipulations, or even without using any software, by simply altering the context of an image/video by sharing the media alongside misleading claims. This alteration of context is referred to as out-of-context (OOC) misuse of media. OOC media is much harder to detect than fake media, since the images and videos are not tampered. In this challenge, we focus on detecting OOC images, and more specifically the misuse of real photographs with conflicting image captions in news items. The aim of this challenge is to develop and benchmark models that can be used to detect whether given samples (news image and associated captions) are OOC, based on the recently compiled COSMOS dataset.

연구 동기 및 목표

• 실제 이미지가 뉴스 미디어에서 맥락을 벗어나 오용되는 형태의 저가 위조는 조작된 미디어보다 감지하기 어려운 점을 해결하기 위해.
• 진짜 이미지가 잘못되거나 관련 없는 캡션과 조합되어 청중을 오도하는 맥락 불일치를 자동으로 탐지하기 위한 연구를 유도하기 위해.
• 이미지 훼손 탐지 없이도 맥락 오용을 탐지하는 모델에 대한 벤치마크를 마련하고, 캡션과 이미지 맥락 간의 의미적 불일치에 중점을 두기 위해.
• 실제 환경에 구현하기 위해 탐지 성능(정확도, F1, MCC)과 효율성(지연 시간, 파라미터 수, 모델 크기)을 모두 기반으로 모델을 평가하기 위해.
• 뉴스 콘텐츠에서 재맥락화된 미디어를 식별하기 위한 강력하고 확장 가능하며 해석 가능한 시스템 개발을 촉진하기 위해.

제안 방법

• 참가자들은 두 캡션 간의 의미적 불일치에 기반해 이미지-캡션 트리플릿 (<Image, Caption1, Caption2>)을 OOC(맥락을 벗어남) 또는 NOOC(맥락을 이탈하지 않음)로 분류하는 것을 목표로 한다.
• 이 챌린지는 실제 온라인 뉴스 게시물에서 수집한 실제 뉴스 이미지와 두 개의 캡션(하나는 진실된 것, 하나는 오도하는 것)을 포함한 COSMOS 데이터셋을 사용한다.
• 모델 평가는 공개 테스트 분할에서 계산된 다섯 가지 효과성 지표를 사용한다: 정확도, 정밀도, 재현율, F1 점수, Matthews 상관계수(MCC).
• 효율성은 평균 추론 지연 시간(ms), 학습 가능한 파라미터 수(백만 단위), 모델 크기(MB)로 측정되며, 자원이 제한된 환경에서의 구현 가능성을 중시한다.
• 참가자 지원, 코드 공유, 토론을 위해 전용 챌린지 웹사이트, Google 그룹, GitHub 리포지토리가 제공된다.
• 반복적 벤치마킹과 향후 확장(예: 데이터 증강을 위한 합성 캡션 생성과 같은 잠재적 작업)을 지원하는 프레임워크를 제공한다.

실험 결과

연구 질문

• RQ1 이미지 자체가 수정되지 않은 상태에서 기계 학습 모델이 뉴스 미디어에서 실제 이미지의 맥락을 벗어난 오용을 얼마나 효과적으로 탐지할 수 있는가?
• RQ2 실시간 OOC 탐지 시스템에서 탐지 성능(F1 점수 등)과 모델 효율성(지연 시간, 파라미터 수, 모델 크기) 사이의 상호 교환 관계는 어떠한가?
• RQ3 두 캡션이 문법적으로 모두 올바르더라도 다중모odal 모델이 동일한 실제 이미지와 연결된 두 캡션 간의 의미적 불일치를 효과적으로 식별할 수 있는가?
• RQ4 COSMOS 데이터셋에서 발견되는 다양한 실제 뉴스 맥락과 캡션 스타일에 대해 탐지 모델의 일반화 능력은 어떠한가?
• RQ5 현재 접근 방식의 주요 한계는 무엇인가? 즉, 맥락적으로 애매한 캡션과 맥락을 벗어난 오용을 구분하는 데서 나타나는가?

주요 결과

• 이 챌린지는 저가 위조 소셜 미디어 오남용의 한 형태인 맥락을 벗어난 실제 이미지 오용을 탐지하기 위한 벤치마크를 성공적으로 구축하였다. 이는 중요하지만 아직 탐색이 부족한 영역이다.
• 챌린지에서 높은 F1 점수(예: 0.85 이상)를 기록한 모델들이 보고되었으며, 이는 다중모달 접근 방식을 통해 신뢰할 수 있는 OOC 탐지의 잠재력을 보여준다.
• 100ms 미만의 추론 지연 시간과 1000만 개 이하의 파라미터를 가진 효율적인 모델들이 개발되어, 뉴스 플랫폼에서 실시간 배포가 가능함을 입증했다.
• COSMOS 데이터셋은 OOC 탐지 모델의 훈련과 평가에 효과적이었으며, OOC와 NOOC 샘플 간의 명확한 의미적 차이를 보였다.
• 이 챌린지는 이미지가 수정되지 않았고 캡션 자체가 개별적으로 타당한 경우에도 캡션 수준의 의미적 불일치가 OOC 오용을 탐지하는 강력한 신호임을 드러냈다.
• 참가자 모델들은 비디오와 자연어 인코더를 조합한(예: ViT + BERT) 모델이 단일모달 기반 모델보다 훨씬 뛰어난 성능을 보여주었으며, 캡션 간의 충돌을 탐지하는 데서 유의미한 개선을 이룬다.