[論文レビュー] A Paradigm Shift: Detecting Human Rights Violations Through Web Images

Grigorios Kalliatakis, Shoaib Ehsan+1 more|arXiv (Cornell University)|Mar 30, 2017

Global Security and Public Health参考文献 8被引用数 3

ひとこと要約

この論文は、人権侵害の監視におけるパラダイム転換を提案する。ウェブ画像とディープラーニングを活用し、高価な手動分析に依存せずに侵害を検出する。実世界の画像はGoogle や Bing のような検索エンジンから入手可能であるが、その中で関連する画像はわずかに過ぎない（例：「難民」のキーワードでは3.64％）。これは、タスク固有の視覚的コンセプトの収集と、CNN などの高度なコンピュータビジョン技術の導入が、検出精度を向上させるために不可欠であることを示している。

ABSTRACT

The growing presence of devices carrying digital cameras, such as mobile phones and tablets, combined with ever improving internet networks have enabled ordinary citizens, victims of human rights abuse, and participants in armed conflicts, protests, and disaster situations to capture and share via social media networks images and videos of specific events. This paper discusses the potential of images in human rights context including the opportunities and challenges they present. This study demonstrates that real-world images have the capacity to contribute complementary data to operational human rights monitoring efforts when combined with novel computer vision approaches. The analysis is concluded by arguing that if images are to be used effectively to detect and identify human rights violations by rights advocates, greater attention to gathering task-specific visual concepts from large-scale web images is required.

研究の動機と目的

• 人権監視における高価な訓練を受けた画像アナリストに依存するのを減らすために、デジタル画像を用いた自動検出を実現すること。
• 実世界のウェブ画像（特に検索エンジンから得られるもの）を用いて人権侵害を特定する可能性を調査すること。
• 人権関連キーワードに対する画像検索結果の低関連性という課題に取り組み、データセット作成を妨げる要因を特定すること。
• ウェブベースのソースを活用して、大規模かつアノテーション済みの人権侵害画像データセットを構築する基盤を確立すること。
• ディープラーニング、特にCNNを用いた高レベルの意味的表現の抽出が、侵害検出にどのように寄与できるかを検討すること。

提案手法

• Google および Bing のAPIを用いて、『児童労働』『難民』『警察暴力』などの人権関連キーワードに基づき画像を収集する。
• 人権侵害の専門家が定義したコンセプトと照合することで、取得した画像の関連性を評価する。
• 複数のクエリを比較して、リtrievalの質と関連性比を評価する分析を実施する。
• キーワードベースの画像検索に内在する体系的問題（例：『武力紛争』が軍事パレードの画像を返すなど）を同定する。
• 特に畳み込みニューラルネットワーク（CNN）を活用し、ウェブ画像から高レベルの視覚的表現を学習する。
• 将来的な研究の方向性として、表現学習に注力することで、実世界の画像における人権侵害の検出を向上させることを提言する。

実験結果

リサーチクエスチョン

• RQ1 Google や Bing といった公開ソースのウェブ画像を、人権侵害の検出に効果的に利用できるか？
• RQ2 人権関連キーワードで検索された画像の実際の関連性率は、一般的な物体カテゴリ（例：車や犬）と比べてどの程度か？
• RQ3 標準的な画像検索エンジンはなぜ、人権監視に特化した高品質な画像を返せないのか？
• RQ4 コンピュータビジョン技術、特にCNNを、実世界の画像における微細なまたは文脈依存の人権侵害を検出するためにどのように適合できるか？
• RQ5 大規模なウェブソースからの画像収集は、人権監視のコスト低減とスケーラビリティ向上に果たす役割は何か？

主な発見

• 検索エンジンを用いて人権関連キーワードで取得した画像のうち、関連するものはわずかに過ぎない。例として、Bing では『難民』のキーワードで3.64％、Google では18％にとどまる。
• 『車』や『犬』といった一般的な物体カテゴリでは関連性率が80％を上回るが、人権用語とは対照的である。
• 人権関連キーワードの画像検索で関連性が低いことは、検出モデルの学習に必要なデータ収集における大きな課題を示している。
• 誤解を招く結果が頻発しており、例として『武力紛争』の検索で実際に紛争の様子ではなく、軍事パレードの画像が返されることがある。
• 課題は存在するが、高度なコンピュータビジョン技術と組み合わせることで、実世界の画像は補完的データとして顕著な潜在的価値を持つ。
• 本研究は、今後の取り組みにおいて、効果的でスケーラブルな人権監視を実現するため、大規模なウェブ画像からタスク固有の視覚的コンセプトを集めることが不可欠であると結論づける。