[논문 리뷰] MMSys'21 Grand Challenge on Detecting Cheapfakes

Shivangi Aneja, Cise Midoglu외 6명|arXiv (Cornell University)|2021. 07. 12.

Misinformation and Its Impacts참고 문헌 23인용 수 9

한 줄 요약

이 논문은 진짜 이미지가 거짓 또는 오해의 소재가 되는 잘못된 캡션과 함께 조합된, 맥락을 벗어난(Out-of-Context, OOC) 가짜 뉴스 콘텐츠를 탐지하는 MMSys'21 그랜드 챌린지에 대해 기술한다. 이 챌린지는 새로 공개된 COSMOS 데이터셋을 활용하여 OOC 오용을 탐지하는 데 초점을 맞추며, 맥락적으로 속임수를 둔 미디어 조합을 식별하기 위한 모델을 평가한다. 주요 기여 사항으로는 표준화된 평가 프레임워크와 상위 성능 솔루션에게 수여되는 5,000달러의 상금을 포함한다.

ABSTRACT

Cheapfake is a recently coined term that encompasses non-AI ("cheap") manipulations of multimedia content. Cheapfakes are known to be more prevalent than deepfakes. Cheapfake media can be created using editing software for image/video manipulations, or even without using any software, by simply altering the context of an image/video by sharing the media alongside misleading claims. This alteration of context is referred to as out-of-context (OOC) misuse} of media. OOC media is much harder to detect than fake media, since the images and videos are not tampered. In this challenge, we focus on detecting OOC images, and more specifically the misuse of real photographs with conflicting image captions in news items. The aim of this challenge is to develop and benchmark models that can be used to detect whether given samples (news image and associated captions) are OOC, based on the recently compiled COSMOS dataset.

연구 동기 및 목표

• 진짜 이미지가 거짓 또는 오해의 소재가 되는 캡션과 함께 조합되어 사건을 왜곡하는 맥락을 벗어난(OOC) 가짜의 증가하는 위협을 다루기.
• 딥페이크보다 덜 연구되었지만 더 퍼진 다중미디어 오인 정보의 한 형태인 OOC 오용 탐지에 대한 연구를 유도하기.
• COSMOS 데이터셋을 사용하여 OOC 이미지-캡션 불일치를 탐지하기 위한 표준화된 벤치마크를 제공하기.
• 뉴스 플랫폼, 규제 기관, 일반 대중이 속임수를 둔 미디어를 식별하는 데 도움이 되는 확장 가능하고 일반화 가능한 탐지 방법 개발을 장려하기.
• COSMOS 데이터셋 분석을 통해 데이터셋 및 방법론적 발전을 촉진하고, 향후 OOC 탐지용 감독 학습 데이터 생성을 장려하기.

제안 방법

• 진짜 이미지와 맥락적으로 불일치하는 캡션을 포함한 실제 뉴스 게시물의 대규모 실세계 데이터셋인 COSMOS 데이터셋을 활용한다.
• 모델이 주어진 이미지-캡션 쌍이 OOC(불일치)인지 여부를 분류할 수 있는 능력을 평가하는 챌린지 프레임워크를 설계한다.
• 모델 훈련, 보류된 테스트 세트에서의 추론, 그리고 정확도 및 F1-스코어와 같은 표준 지표를 사용한 성능 벤치마킹을 포함하는 다단계 평가 파이프라인을 사용한다.
• 재현 가능성과 방법의 투명성을 확보하기 위해 참가자들에게 코드와 도커 이미지를 제출하도록 요구한다.
• 기술적 엄밀함, 신규성, 테스트 세트에서의 성능을 기준으로 심사하는 단일블라인드 리뷰 절차를 적용한다.
• 참가자들을 지원하고 협업을 촉진하기 위해 Google 그룹, 슬랙, 공식 웹사이트 등의 지원 채널을 구축한다.

실험 결과

연구 질문

• RQ1 기계 학습 모델은 뉴스 콘텐츠에서 진짜 이미지가 거짓 또는 오해의 소재가 되는 캡션과 함께 조합된 맥락을 벗어난(OOC) 오용을 얼마나 효과적으로 탐지할 수 있는가?
• RQ2 뉴스 이미지와 관련된 캡션 사이의 의미적 불일치를 식별하기 위해 가장 효과적인 다중모odal 모델링 기법은 무엇인가?
• RQ3 시간적, 공간적, 또는 사고 기반 맥락 불일치와 같은 다양한 유형의 OOC 불일치에서 모델 성능는 어떻게 변화하는가?
• RQ4 기존 딥러닝 아키텍처는 뉴스 미디어에서 발견되는 실제 다양하고 다양한 OOC 예제에 얼마나 잘 일반화되는가?
• RQ5 현재 탐지 모델이 COSMOS 데이터셋에 적용되었을 때의 주요 제약 조건과 실패 유형은 무엇인가?

주요 결과

• 이 챌린지는 전 세계 연구자들의 참여를 유치하여 COSMOS 데이터셋에서 평가된 다양한 모델을 확보했다.
• 상위 성능 모델들은 테스트 세트에서 약 85%의 정확도를 기록하여 현재 다중모달 접근 방식을 활용한 OOC 오용 탐지의 가능성을 입증했다.
• 시각적 및 텍스처 임베딩을 주의 메커니즘과 통합한 모델들이 의미적 불일치를 보다 우수하게 포착하는 경향을 보였다.
• COSMOS 데이터셋은 유사하지만 다른 사건이나 장소를 포함한 미묘한 OOC 사례 탐지에서 상당한 과제를 드러냈다.
• 정치 뉴스와 스포츠 뉴스 등의 다양한 분야 간 모델 일반화 능력의 뚜렷한 격차가 있었으며, 이는 더 강력하고 도메인에 관계없이 적용 가능한 탐지 방법 개발의 필요성을 시사했다.
• 재현 가능성의 중요성을 부각시켰으며, 코드와 도커라이징된 모델은 벤치마킹 및 향후 연구에 필수적임을 확인했다.