[논문 리뷰] Image Credibility Analysis with Effective Domain Transferred Deep Networks

Zhiwei Jin, Juan Cao외 2명|arXiv (Cornell University)|2016. 11. 16.

Misinformation and Its Impacts참고 문헌 28인용 수 17

한 줄 요약

이 논문은 소셜 미디어에서 확보한 대규모 약한 레이블이 부여된 위조 이미지 데이터셋을 보조 데이터로 활용하여 도메인 전이가 이루어진 딥 CNN을 제안한다. AdaBoost 유사 반복적 전이학습 알고리즘을 통해 보조 데이터셋에서 지식을 전이함으로써 위조 이미지 탐지 성능을 향상시키며, ImageNet 기반 전이학습보다 뛰어난 성능을 기록한다. 또한 위조 이미지는 일반적으로 눈에 띄며 낮은 품질이면서 시각적으로 방해가 되는 경향이 있음을 규명한다.

ABSTRACT

Numerous fake images spread on social media today and can severely jeopardize the credibility of online content to public. In this paper, we employ deep networks to learn distinct fake image related features. In contrast to authentic images, fake images tend to be eye-catching and visually striking. Compared with traditional visual recognition tasks, it is extremely challenging to understand these psychologically triggered visual patterns in fake images. Traditional general image classification datasets, such as ImageNet set, are designed for feature learning at the object level but are not suitable for learning the hyper-features that would be required by image credibility analysis. In order to overcome the scarcity of training samples of fake images, we first construct a large-scale auxiliary dataset indirectly related to this task. This auxiliary dataset contains 0.6 million weakly-labeled fake and real images collected automatically from social media. Through an AdaBoost-like transfer learning algorithm, we train a CNN model with a few instances in the target training set and 0.6 million images in the collected auxiliary set. This learning algorithm is able to leverage knowledge from the auxiliary set and gradually transfer it to the target task. Experiments on a real-world testing set show that our proposed domain transferred CNN model outperforms several competing baselines. It obtains superiror results over transfer learning methods based on the general ImageNet set. Moreover, case studies show that our proposed method reveals some interesting patterns for distinguishing fake and authentic images.

연구 동기 및 목표

• 실제로는 표준 데이터셋에 부족하게 포함되어 있지만, 시각적으로 뚜렷하고 정서적으로 민감한 소셜 미디어 위조 이미지를 탐지하는 과제를 해결한다.
• 실제로 레이블이 부여된 위조 이미지 데이터의 부족함을 보완하기 위해 소셜 미디어에서 대규모 약한 레이블이 부여된 보조 데이터셋을 구축한다.
• 보조 데이터셋에서 타겟 작업인 이미지 신뢰성 분석에 효과적으로 지식을 전이할 수 있는 도메인 적응형 딥 러닝 프레임워크를 개발한다.
• 텍스트 기반 또는 저수준 시각적 특징 방법을 넘어서, 위조 이미지의 고수준이고 심리학적으로 유용한 시각 패턴을 학습함으로써 탐지 성능을 향상시킨다.

제안 방법

• 신뢰성 분석과 간접적으로 관련된 실제 및 위조 이미지를 포함한 60만 장의 약한 레이블이 부여된 보조 데이터셋을 소셜 미디어에서 구축한다.
• 동적 인스턴스 가중치를 부여하는 AdaBoost 유사 반복적 전이학습 알고리즘을 사용하여 보조 데이터셋에서 CNN을 학습시킨다. 이는 특징 전이를 향상시킨다.
• 보조 데이터셋과 타겟 데이터셋의 가중치를 동시에 최적화하여 반복적인 도메인 적응을 구현함으로써 지식 전이를 강화한다.
• 학습된 CNN의 여러 층(C5, FC6, FC7)에서 깊은 특징을 추출하고, 이 특징들이 타겟 신뢰성 분류 작업에서 어떻게 성능을 발휘하는지 평가한다.
• 전이학습 과정에서 가중치를 부여한 앙상블 전략을 사용하여 보조 및 타겟 세트의 정보성 높은 샘플을 우선순위로 지정한다.
• 특히 FC7와 같은 더 깊은 CNN 층의 의미론적 추상화 능력을 활용하여 이미지 신뢰성과 관련된 작업 특화 특징을 포착한다.

실험 결과

연구 질문

• RQ1 약한 레이블이 부여된 대규모 보조 데이터셋이 실제 데이터가 부족한 상황에서 위조 이미지 탐지에 효과적으로 기여할 수 있는가?
• RQ2 가중치가 부여된 인스턴스 선택 기반의 반복적 도메인 전이 학습이 ImageNet 기반 표준 전이학습 대비 위조 이미지 탐지 성능을 향상시키는가?
• RQ3 심리학적 민감도와 인지적 영향 측면에서 위조 이미지와 진짜 이미지를 구별하는 주요 시각적 패턴은 무엇인가?
• RQ4 일반 목적의 ImageNet에서 사전 학습한 특징보다, 과제 관련 보조 데이터셋에서 사전 학습한 CNN의 깊은 특징이 신뢰성 분석에서 더 우수한 성능을 보이는가?
• RQ5 모델의 실패 사례는 무엇이며, 이는 위조 이미지 패턴을 모방하는 진짜 이미지의 시각적 특성과 어떻게 관련이 있는가?

주요 결과

• 제안된 도메인 전이 CNN은 텍스트 기반 방법, BoVW 특징, 표준 전이학습 방법(데이터, 특징, 모델 전이)을 포함한 다양한 베이스라인보다 뛰어난 성능을 기록한다.
• 보조 데이터셋에서 학습한 CNN의 FC7 층에서 추출한 특징을 사용할 경우 정확도가 0.755에 도달하여 고수준 특징이 신뢰성 분석에 더 효과적임을 시사한다.
• 60만 장의 약한 레이블이 부여된 보조 데이터셋을 사용함으로써 ImageNet 기반 전이학습보다 성능이 크게 향상되었으며, 이는 FC6에서의 정확도 0.719에 못 미치는 성능을 기록한 것에 비해 뚜렷한 개선이다.
• 사례 연구 결과, 위조 이미지는 실제 이미지보다 항상 더 눈에 띄며, 시각적으로 방해가 되고 품질이 낮은 경향이 있어, 인지적 민감도가 주요 구분 요소임을 시사한다.
• 거짓 양성 사례는 높은 시각적 민감도를 지닌 실제 이미지에서 발생하며, 이는 모델이 일반적인 위조 유사 패턴을 학습하여 뚜렷한 외관을 지닌 실제 이미지를 잘못 분류할 수 있음을 나타낸다.
• 모델의 실패 사례는 다중 모odal 융합의 필요성을 드러내며, 외관상 유사한 실제 이미지가 잘못 분류되는 경우가 많아 순수히 시각적 신호에 의존할 경우의 한계를 보여준다.