[논문 리뷰] A Paradigm Shift: Detecting Human Rights Violations Through Web Images

Grigorios Kalliatakis, Shoaib Ehsan외 1명|arXiv (Cornell University)|2017. 03. 30.

Global Security and Public Health참고 문헌 8인용 수 3

한 줄 요약

이 논문은 웹 이미지와 딥러닝을 활용하여 수작업 분석에 의존하지 않고도 인권 침해를 탐지함으로써 인권 모니터링의 범주 전환을 제안한다. 실제 검색 엔진인 구글과 빙에서 확보한 실생활 이미지는 풍부하지만, 그 중 실제로 관련성이 있는 비율은 매우 낮으며(예: ' refugee'의 경우 3.64%), 이는 과제에 특화된 시각적 개념 수집과 컨volutional 네트워크(CNN)와 같은 고급 컴퓨터 비전 기법이 탐지 정확도 향상에 필수적임을 시사한다.

ABSTRACT

The growing presence of devices carrying digital cameras, such as mobile phones and tablets, combined with ever improving internet networks have enabled ordinary citizens, victims of human rights abuse, and participants in armed conflicts, protests, and disaster situations to capture and share via social media networks images and videos of specific events. This paper discusses the potential of images in human rights context including the opportunities and challenges they present. This study demonstrates that real-world images have the capacity to contribute complementary data to operational human rights monitoring efforts when combined with novel computer vision approaches. The analysis is concluded by arguing that if images are to be used effectively to detect and identify human rights violations by rights advocates, greater attention to gathering task-specific visual concepts from large-scale web images is required.

연구 동기 및 목표

• 인권 모니터링에서 고비용의 전문 이미지 분석가에 대한 의존도를 줄이기 위해 디지털 이미지를 활용해 탐지 과정을 자동화하는 것.
• 실생활 웹 이미지—특히 검색 엔진에서 확보한 이미지—를 활용해 인권 침해를 식별할 수 있는지 타당성을 조사하는 것.
• 인권 키워드에 대한 이미지 검색 결과의 낮은 관련성 문제를 해결하여 데이터셋 구축을 방해하는 과제를 해결하는 것.
• 웹 기반 자료를 활용해 대규모로 애너테이션된 인권 침해 이미지 데이터셋을 구축하는 기반을 마련하는 것.
• 딥러닝, 특히 컨volutional 네트워크(CNN)가 인권 침해 탐지에 있어 고수준의 의미적 표현을 추출하는 데 어떻게 활용될 수 있는지 탐색하는 것.

제안 방법

• 구글과 빙 API를 활용해 '아동 노동', '이주민', '경찰 폭력' 등의 인권 키워드 기반으로 이미지를 수집하는 것.
• 전문가가 정의한 인권 침해 개념과 비교하여 확보한 이미지의 관련성을 평가하는 것.
• 다양한 쿼리를 대비해 검색 품질과 관련성 비율을 평가하기 위한 비교 분석을 수행하는 것.
• 키워드 기반 이미지 검색에서 발생하는 체계적 문제, 예를 들어 '무장 충돌' 키워드가 군사 기마행진 이미지를 반환하는 등 잘못된 분류 현상을 규명하는 것.
• 특히 컨volutional 네트워크(CNN)를 활용해 웹 이미지에서 고수준의 시각적 표현을 학습하는 것.
• 실생활 이미지에서 인권 침해를 효과적으로 탐지하기 위해 향후 연구 방향으로 표현 학습에 초점을 맞추는 것.

실험 결과

연구 질문

• RQ1 구글과 빙과 같은 공개 웹 자료에서 확보한 웹 이미지를 효과적으로 활용해 인권 침해를 탐지할 수 있는가?
• RQ2 일반적인 물체 카테고리(예: '자동차' 또는 '개')와 비교해, 인권 관련 키워드로 검색된 이미지의 실제 관련성 비율은 얼마인가?
• RQ3 표준 이미지 검색 엔진이 왜 인권 모니터링에 특화된 고품질의 이미지를 반환하지 못하는가?
• RQ4 컴퓨터 비전 기법, 특히 CNN이 실생활 이미지에서 미묘하거나 맥락 의존적인 인권 침해를 어떻게 탐지할 수 있는가?
• RQ5 대규모 웹 기반 이미지 컬렉션은 인권 모니터링의 비용 절감과 확장성 향상에 어떤 역할을 할 수 있는가?

주요 결과

• 검색 엔진을 통해 인권 키워드로 확보한 이미지 중 관련성이 있는 비율은 매우 낮으며, 예를 들어 빙에서 '이주민' 키워드로 검색한 결과는 3.64%에 불과하고, 구글은 18%에 그친다.
• 일반적인 물체 카테고리인 '자동차'나 '개'의 경우 관련성 비율이 80% 이상을 초과하여, 인권 용어와의 뚜렷한 대비를 보인다.
• 인권 관련 이미지 검색 결과의 낮은 관련성은 탐지 모델 훈련을 위한 데이터 수집 과정에서 심각한 과제임을 시사한다.
• 오해의 소지가 있는 결과가 흔히 발생하며, 예를 들어 '무장 충돌' 키워드가 실제 전투 사건이 아닌 군사 기마행진 이미지를 반환하는 경우가 있다.
• 다른 과제가 있음에도 불구하고, 실생활 이미지는 고급 컴퓨터 비전 기법과 결합할 경우 보완 자료로서 상당한 잠재력을 지닌다.
• 본 연구는 향후 노력이 대규모 웹 이미지에서 과제에 특화된 시각적 개념을 확보하는 데 우선순위를 두어야 한다고 결론 내린다. 이를 통해 효과적이고 확장 가능한 인권 모니터링이 가능해질 것이다.