[논문 리뷰] Edited Media Understanding Frames: Reasoning About the Intent and Implications of Visual Misinformation

Jeff Da, Maxwell Forbes외 5명|arXiv (Cornell University)|2020. 12. 08.

Multimodal Machine Learning Applications참고 문헌 40인용 수 4

한 줄 요약

이 논문은 시각-언어 태스크인 편집된 미디어 이해(EMU)를 소개한다. 이는 모델이 개방형 자연어 질문을 통해 이미지 편집의 의도와 함의를 추론하도록 요구하는 새로운 시각-언어 태스크이다. 저자들은 대규모 데이터셋(48,000개의 QA 쌍)을 제안하고, 핵심 이미지 영역을 우선순위로 지정하며 구조적 추론을 수행하는 다중모odal 모델인 PELICAN을 제안한다. 이 모델은 인간 평가자 기준 정확도 40.35%를 달성하였으며, 이는 유망한 시작이지만 여전히 큰 성능 격차가 존재한다.

ABSTRACT

Multimodal disinformation, from 'deepfakes' to simple edits that deceive, is an important societal problem. Yet at the same time, the vast majority of media edits are harmless -- such as a filtered vacation photo. The difference between this example, and harmful edits that spread disinformation, is one of intent. Recognizing and describing this intent is a major challenge for today's AI systems. We present the task of Edited Media Understanding, requiring models to answer open-ended questions that capture the intent and implications of an image edit. We introduce a dataset for our task, EMU, with 48k question-answer pairs written in rich natural language. We evaluate a wide variety of vision-and-language models for our task, and introduce a new model PELICAN, which builds upon recent progress in pretrained multimodal representations. Our model obtains promising results on our dataset, with humans rating its answers as accurate 40.35% of the time. At the same time, there is still much work to be done -- humans prefer human-annotated captions 93.56% of the time -- and we provide analysis that highlights areas for further progress.

연구 동기 및 목표

• 이미지 조작 뒤의 해로운 의도를 단순한 위조 탐지 이상으로 탐지할 수 있는 AI 시스템의 능력에 대한 핵심 격차를 메우기 위해.
• 이미지 편집의 미묘한 의도와 사회적 함의를 포괄하는 태스크를 개발하여 픽셀 수준의 분석을 넘어서기 위해.
• 풍부한 개방형 질문-답변 주석이 부여된 대규모, 자연어 기반의 편집된 이미지 쌍 데이터셋을 구축하기 위해.
• 편집의 공명, 시각적 기반, 의미적 함의를 추론하는 데 목적이 있는 다중모달 모델을 설계하기 위해.
• 인간 평가 및 분석 실험을 통해 시각적 오보도 이해의 진전을 벤치마킹하기 위해.

제안 방법

• 태스크는 원본 이미지와 편집된 이미지 쌍에 대해 개방형 질문 응답 형식으로 이미지 편집 이해를 정의하며, 분류와 근거 생성 모두 요구된다.
• 다양하고 의미적으로 유의미한 편집을 공통된 원본 이미지에 적용하기 위해, Photoshop 전투 이미지를 사용하여 새로운 데이터셋 EMU를 구축한다.
• 이미지 영역 간의 관계를 모델링하기 위해 방향성 그래프를 사용하는 시각-언어 모델인 PELICAN을 도입한다.
• 이미지 영역의 위상 정렬을 수행하고, 주석이 달린 주체로부터 특징을 우선순위로 지정하여 공명 및 의도에 대한 추론을 향상시킨다.
• 모델은 Conceptual Captions에서 사전학습하고 EMU에서 미세조정하며, 사전학습, 주석이 달린 특징, 그래프 구조의 기여도를 분리하여 분석한다.
• 자동 평가 지표(BLEU, 퍼플리티)와 인간 평가를 통해 평가하며, 표준 VLP 모델을 포함한 강력한 베이스라인과 비교한다.

실험 결과

연구 질문

• RQ1 시각-언어 모델은 이미지 편집의 의도를 정확하게 추론할 수 있는가? 예를 들어, 편집이 오도적이거나 속임수적인지 여부를 판단할 수 있는가?
• RQ2 편집의 함의에 대해 모델이 얼마나 잘 추론할 수 있는가? 예를 들어, 주체 간의 사회적 관계나 정서적 분위기 변화에 대해 말이다.
• RQ3 특정 이미지 영역(예: 주체1, 주체2)에 출력을 기반으로 하는 것의 정도가 추론 능력 향상과 모호성 감소에 얼마나 기여하는가?
• RQ4 아키텍처 선택, 예를 들어 이미지 영역의 방향성 그래프 사용 또는 원본 이미지 특징 포함 여부가 편집된 이미지 이해 성능에 어떤 영향을 미치는가?
• RQ5 최첨단 모델과 인간 수준의 이해 간에 이미지 조작의 의도를 해석하는 데 있어 성능 격차는 어느 정도인가?

주요 결과

• PELICAN은 EMU 데이터셋에서 인간 평가 기준 정확도 40.35%를 달성하여 기존 베이스라인 모델들을 크게 앞서간다.
• 인간 평가자들은 인간이 생성한 답변을 모델 출력보다 93.56%의 비율로 선호하여, 모델 성능 향상 여전히 큰 격차가 있음을 시사한다.
• 분석 실험 결과, 사전학습과 주석이 달린 이미지 특징이 성능에 의미 있는 기여를 하며, 사전학습으로 정확도가 1.93% 향상됨을 확인하였다.
• 원본 이미지를 제외하더라도 정확도가 0.05% 뿐 감소하여, PELICAN이 실제 환경에서 편집된 이미지만으로도 효과적으로 기능할 수 있음을 시사한다.
• 표면적 이해(예: 이미지 내 총 존재 감지)에 대해서는 뛰어난 성능을 보였지만, 미묘한 사회적 및 맥락적 해석에는 어려움을 겪는다.
• 퍼플리티는 0.86 감소하고 BLEU 점수는 기존 베이스라인 대비 향상되어, PELICAN의 생성 품질과 추론 능력이 확인되었다.