[論文レビュー] Learning Visual Classifiers using Human-centric Annotations.

Ishan Misra, C. Lawrence Zitnick+2 more|arXiv (Cornell University)|Dec 22, 2015

Multimodal Machine Learning Applications被引用数 3

ひとこと要約

本論文は、人間中心のノイズ混じりのアノテーション（タグやキャプションなど）から視覚的に根拠付けられた画像分類器を学習する手法を提案する。この手法は人間の報告バイアスをモデル化・分離することで、不一致で主観的なアノテーションに内在する構造的ノイズを活用し、分類およびキャプション生成の性能を著しく向上させる。MS COCO や Yahoo Flickr 100M などの一部のベンチマークでは、最先端の結果を倍増させる。

ABSTRACT

When human annotators are given a choice about what to label in an image, they apply their own subjective judgments on what to ignore and what to mention. We refer to these noisy human-centric annotations as exhibiting human reporting bias. Examples of such annotations include tags and keywords found on photo sharing sites, or in datasets containing captions. In this paper, we use these noisy annotations for learning visually correct classifiers. Such annotations do not use consistent vocabulary, and miss a significant amount of the information present in an image; however, we demonstrate that the noise in these annotations exhibits structure and can be modeled. We propose an algorithm to decouple the human reporting bias from the correct visually grounded labels. Our results are highly interpretable for reporting what's in the image versus what's worth saying. We demonstrate the algorithm's efficacy along a variety of metrics and datasets, including MS COCO and Yahoo Flickr 100M. We show significant improvements over traditional algorithms for both classification and captioning, doubling the performance of existing methods in some cases.

研究の動機と目的

• 実世界のデータセットに見られる一貫性のない、主観的なヒューマンアノテーションから正確な視覚分類器を学習する課題に対処すること。
• 視覚的真実を反映しないが、人間の報告バイアスを示すタグやキャプションなどのヒューマンセントリックアノテーションに内在する構造的ノイズをモデル化すること。
• 人間の報告バイアスを実際の視覚的コンテンツから分離し、解釈可能で視覚的に根拠付けられた予測を生成すること。
• ノイズ混じりのアノテーションからの弱教師付き学習を用いて、画像分類および画像キャプション生成タスクのパフォーマンスを向上させること。
• MS COCO や Yahoo Flickr 100M といった多様なデータセットにおいて、現実的なアノテーション条件下で本手法の有効性を示すこと。

提案手法

• 本手法は、タグやキャプションなどのヒューマン生成アノテーションにおける人間の報告バイアスを、構造的ノイズプロセスとしてモデル化する。
• アノテーターの主観的報告行動と潜在的な視覚的コンテンツを分離するための確率的フレームワークを導入する。
• 語彙の不一致や情報欠落を考慮しつつ、視覚的に根拠付けられたラベルを推定するための統合推論メカニズムを用いる。
• アノテーションプロセスのバイアスに配慮した表現を学習することで、大規模でノイズ混じりのデータセットからの弱教師付き学習を活用する。
• 視覚的正確性と人間の報告パターンの整合性の両方を最適化する微分可能でエンドツーエンドの最適化を用いてモデルを訓練する。
• 「画像に何があるか」と「何を言及する価値があるか」を区別することで、解釈可能な予測を可能にする。

実験結果

リサーチクエスチョン

• RQ1 人間中心のアノテーションに内在する構造的ノイズを効果的にモデル化することで、視覚分類器のパフォーマンスを向上させられるか？
• RQ2 弱教師付き学習において、人間の報告バイアスを真の視覚的コンテンツからどれほど分離できるか？
• RQ3 本手法は、実世界のデータセットにおいて、従来のアプローチと比較して、分類およびキャプション生成のパフォーマンスをどのように向上させるか？
• RQ4 MS COCO や Yahoo Flickr 100M のような、アノテーション品質や語彙の多様性が異なる多様なデータセットにおいて、本手法は一般化可能か？
• RQ5 モデルは、視覚的コンテンツと主観的なアノテーション選択を区別できる解釈可能な出力を生成できるか？

主な発見

• 提案手法は、画像分類およびキャプション生成のパフォーマンスを著しく向上させ、ベンチマークデータセットにおいて、一部のケースで既存手法の性能を倍増させる。
• MS COCO および Yahoo Flickr 100M で最先端の結果を達成しており、これはヒューマンアノテーションにおける構造的ノイズを効果的にモデル化した結果である。
• 視覚的に根拠付けられたコンテンツと主観的な報告バイアスを区別することで、高い解釈性を示している。
• 性能向上は複数の評価指標にわたり一貫しており、アノテーションのばらつきに対して頑健であることが示された。
• 校正済みまたは真のラベルを必要とせずに、語彙の不一致や情報欠落に対しても効果的に対処できる。
• アルゴリズムは多様なデータセットにうまく一般化され、極めてノイズの多い実世界のヒューマンアノテーションでも効果的であることが実証された。