[論文レビュー] Learning from Web Data: the Benefit of Unsupervised Object Localization

Xiaoxiao Sun, Liang Zheng+2 more|arXiv (Cornell University)|Dec 21, 2018

Advanced Image and Video Retrieval Techniques参考文献 46被引用数 4

ひとこと要約

本稿では、ウェブデータと標準データセット間の分布ギャップを低減するための教師なしオブジェクト定位手法を提案する。この手法により、細分類画像認識の性能が向上し、Stanford Dogsでは最大6.87%、MIT Indoor67では5.3%の精度向上を達成した。

ABSTRACT

Annotating a large number of training images is very time-consuming. In this background, this paper focuses on learning from easy-to-acquire web data and utilizes the learned model for fine-grained image classification in labeled datasets. Currently, the performance gain from training with web data is incremental, like a common saying "better than nothing, but not by much". Conventionally, the community looks to correcting the noisy web labels to select informative samples. In this work, we first systematically study the built-in gap between the web and standard datasets, i.e. different data distributions between the two kinds of data. Then, in addition to using web labels, we present an unsupervised object localization method, which provides critical insights into the object density and scale in web images. Specifically, we design two constraints on web data to substantially reduce the difference of data distributions for the web and standard datasets. First, we present a method to control the scale, localization and number of objects in the detected region. Second, we propose to select the regions containing objects that are consistent with the web tag. Based on the two constraints, we are able to process web images to reduce the gap, and the processed web data is used to better assist the standard dataset to train CNNs. Experiments on several fine-grained image classification datasets confirm that our method performs favorably against the state-of-the-art methods.

研究の動機と目的

• ウェブデータが大規模かつ低コストであるにもかかわらず、深層学習において限られた性能向上しか得られない理由を調査すること。
• ウェブデータと標準データセットの間の「内蔵ギャップ」——オブジェクトのスケール、局所化、密度、ラベル品質の違い——を特定および定量化すること。
• データ駆動の制約を用いた教師なしオブジェクト定位により、この分布ギャップを低減する手法を開発すること。
• バイアス除去されたウェブデータが、細分類分類ベンチマークにおける微調整済みCNNの性能を顕著に向上させることを実証すること。

提案手法

• 2段階の制約メカニズムを提案：(1) 検出領域内のオブジェクトスケール、局所化、オブジェクト数を制御するフォーム制約；(2) ウェブタグと一致する領域をフィルタリングするラベル一貫性制約。
• ウェブ画像に対して教師なしオブジェクト定位を適用し、候補領域を生成した後、幾何的および意味的制約を課して分布シフトを低減する。
• 空間的およびスケールの規則性に基づいて、重複またはノイズの多い領域を抑圧するための$\Delta_{form}$を導入し、局所化品質を向上させる。
• ウェブタグと一致しない領域をフィルタリングするための$\Delta_{label}$を導入し、ノイズの多い教師信号を低減する。
• 制約を課したウェブデータを用いて、標準データセット上でCNN（例：ResNet-110）を事前学習または微調整し、一般化性能を向上させる。
• アブレーションスタディおよびクロスデータセット評価を用いて、各構成要素の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 ウェブデータと標準データセット間の分布ギャップが、ウェブデータの利用による性能向上をどの程度制限しているか。
• RQ2 オブジェクトスケール、局所化、密度、ラベル品質の違いが、このギャップにどのように寄与しているか。
• RQ3 幾何的および意味的制約を伴う教師なしオブジェクト定位が、内蔵ギャップを効果的に低減できるか。
• RQ4 提案手法が、ウェブデータを用いた細分類画像認識において、最先端の手法を上回る性能を達成できるか。
• RQ5 オブジェクト中心（Food-101、Stanford Dogs）およびシーンベース（MIT Indoor67）のタスクを含む、多様な複雑さのデータセットにおいて、本手法はどの程度の性能を示すか。

主な発見

• 不規則なオブジェクトスケール、局所化、密度、ラベルノイズに起因するウェブデータと標準データセットの間の内蔵ギャップが、ウェブデータの性能向上を顕著に制限している。
• Food-101では、ウェブデータの直接利用に比べて6.25%の精度向上を達成し、ResNet-110を用いて84.31%の精度を達成した。
• Stanford Dogsでは、バイアス除去後のウェブデータを用いることで、81.26%から88.13%へと6.87%の精度向上を達成し、ベースラインのウェブデータ利用法を上回った。
• MIT Indoor67では、79.63%から84.93%へと5.3%の精度向上を達成し、複雑なシーン認識タスクに対しても有効であることを示した。
• アブレーションスタディにより、$\Delta_{form}$および$\Delta_{label}$の両方の制約が不可欠であり、それぞれが性能向上に顕著な寄与をしていることが確認された。
• 先行研究（例：Goldfince [4]）と比較して、データ量の1/3でさえも最先端の結果を達成しており、高いデータ効率を示した。