[论文解读] A Paradigm Shift: Detecting Human Rights Violations Through Web Images

Grigorios Kalliatakis, Shoaib Ehsan+1 more|arXiv (Cornell University)|Mar 30, 2017

Global Security and Public Health参考文献 8被引用 3

一句话总结

本文通过利用网络图像和深度学习技术，提出了一种人权监测范式转变，旨在无需依赖昂贵的人工分析即可检测侵权行为。研究显示，尽管来自Google和Bing等搜索引擎的真实世界图像数量庞大，但其中只有极小部分（例如，'refugees'为3.64%）具有相关性，凸显了针对任务的视觉概念收集以及卷积神经网络（CNNs）等先进计算机视觉技术在提升检测准确率方面的重要需求。

ABSTRACT

The growing presence of devices carrying digital cameras, such as mobile phones and tablets, combined with ever improving internet networks have enabled ordinary citizens, victims of human rights abuse, and participants in armed conflicts, protests, and disaster situations to capture and share via social media networks images and videos of specific events. This paper discusses the potential of images in human rights context including the opportunities and challenges they present. This study demonstrates that real-world images have the capacity to contribute complementary data to operational human rights monitoring efforts when combined with novel computer vision approaches. The analysis is concluded by arguing that if images are to be used effectively to detect and identify human rights violations by rights advocates, greater attention to gathering task-specific visual concepts from large-scale web images is required.

研究动机与目标

• 通过使用数字图像自动化检测，减少在人权监测中对昂贵且需专业训练的影像分析师的依赖。
• 研究利用真实世界网络图像（尤其是来自搜索引擎的图像）识别人权侵犯行为的可行性。
• 解决人权关键词图像搜索结果相关性低的问题，该问题阻碍了数据集的构建。
• 为利用基于网络的来源开发大规模、带标注的人权侵犯图像数据集奠定基础。
• 探索深度学习（尤其是CNNs）在提取高层语义表征以实现侵权检测方面的潜力。

提出的方法

• 使用Google和Bing API，基于'child labour'、'refugees'和'police violence'等人权关键词收集图像。
• 通过与专家定义的人权侵犯概念进行比较，评估检索图像的相关性。
• 对多个查询执行对比分析，以评估检索质量和相关性比率。
• 识别基于关键词的图像检索中的系统性问题，例如误分类（如'armed conflict'返回军事游行图像而非实际冲突事件）。
• 利用深度学习模型，特别是卷积神经网络（CNNs），从网络图像中学习高层视觉表征。
• 提出未来研究方向，聚焦于表示学习，以提升在真实世界图像中检测人权侵犯行为的能力。

实验结果

研究问题

• RQ1 能否有效利用Google和Bing等公共来源的网络图像检测人权侵犯行为？
• RQ2 与一般物体类别相比，使用人权相关关键词检索到的图像实际相关率如何？
• RQ3 为何标准图像搜索引擎无法为人权监测返回高质量、任务特定的图像？
• RQ4 计算机视觉技术（尤其是CNNs）如何能被调整以检测真实世界图像中细微或依赖上下文的人权侵犯行为？
• RQ5 大规模基于网络的图像集合在降低人权监测成本并提高可扩展性方面发挥什么作用？

主要发现

• 通过搜索引擎检索人权关键词所获得的图像中，仅有极小部分具有相关性——例如，在Bing上'所谓refugees'的相关率仅为3.64%，在Google上为18%。
• 对于'car'或'dog'等常见物体类别，相关率超过80%，与人权术语形成鲜明对比。
• 人权相关图像搜索结果相关性低，表明在训练检测模型时数据收集面临重大挑战。
• 误导性结果普遍存在，例如'armed conflict'返回的是军事游行而非实际冲突事件的图像。
• 尽管存在挑战，真实世界图像在结合先进计算机视觉技术时，仍具有显著的互补数据潜力。
• 本研究结论认为，未来工作必须优先从大规模网络图像中收集任务特定的视觉概念，以实现有效且可扩展的人权监测。