[論文レビュー] Learning from Noisy Web Data with Category-level Supervision

Li Niu, Qingtao Tang+2 more|arXiv (Cornell University)|Mar 10, 2018

Domain Adaptation and Few-Shot Learning参考文献 35被引用数 5

ひとこと要約

本稿では、ウェブから収集された画像におけるラベルノイズを軽減するために、カテゴリレベルの監視情報（単語ベクトル、属性、視覚的エンコーディングなど）を用いて変分オートエンコーダー（VAE）と分類ネットワークを同時に学習するWSCIという手法を提案する。このアプローチにより、再構成と分類の両方の性能が向上し、さまざまなノイズレベル下でも、SUN、AwA2、CUBの3つのベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

As tons of photos are being uploaded to public websites (e.g., Flickr, Bing, and Google) every day, learning from web data has become an increasingly popular research direction because of freely available web resources, which is also referred to as webly supervised learning. Nevertheless, the performance gap between webly supervised learning and traditional supervised learning is still very large, owning to the label noise of web data. To be exact, the labels of images crawled from public websites are very noisy and often inaccurate. Some existing works tend to facilitate learning from web data with the aid of extra information, such as augmenting or purifying web data by virtue of instance-level supervision, which is usually in demand of heavy manual annotation. Instead, we propose to tackle the label noise by leveraging more accessible category-level supervision. In particular, we build our method upon variational autoencoder (VAE), in which the classification network is attached on the hidden layer of VAE in a way that the classification network and VAE can jointly leverage the category-level hybrid semantic information. The effectiveness of our proposed method is clearly demonstrated by extensive experiments on three benchmark datasets.

研究の動機と目的

• ウェブデータに含まれるノイズの多いラベルによる、ウェブリーストされた学習と従来の教師あり学習との間の性能格差を是正すること。
• インスタンスレベルの監視に依存するのを減らし、単語ベクトル、属性、視覚的エンコーディングなど、より入手しやすいカテゴリレベルの監視情報を活用すること。
• VAEと分類ネットワークがカテゴリレベルの監視情報から得られる意味的情報を共有することで、相互に頑健性を高める共同学習フレームワークを構築すること。
• 複数のデータセットおよびさまざまなノイズレベルにおいて、既存のベースラインを常に上回ることを実証すること。

提案手法

• 本手法は、潜在変数層に分類ネットワークを接続した変分オートエンコーダー（VAE）に基づくもので、共有エンコーダーとVAE構造を形成する。
• 分類ネットワークは、カテゴリレベルの意味的情報（例：単語ベクトル、属性、視覚的エンコーディング）を用いて予測スコアを生成し、潜在変数に意味的意味を与えている。
• VAEは再構成確率密度を外れ値検出の指標として用い、この指標で特定された非外れサンプルに高い損失重みを割り当てている。
• 分類ネットワークはVAEの潜在空間に識別的情報を注入し、埋め込みの意味的品質を向上させ、外れ値検出を強化している。
• 各カテゴリ内の視覚的特徴を平均化することで、新しい視覚的エンコーディングを提案し、これを向上させることで頑健性と識別性を向上させた。
• VAEが外れ値重み付けにより分類器の頑健性を向上させ、分類器がVAEの意味的表現を強化するように、エンドツーエンドで共同最適化により学習している。

実験結果

リサーチクエスチョン

• RQ1 カテゴリレベルの監視情報は、ノイズの多いウェブデータで学習された分類器の頑健性を向上させることができるか？
• RQ2 VAEと分類ネットワークの共同学習は、個別に学習する場合と比べて性能をどのように向上させるか？
• RQ3 属性が利用できない状況において、ウェブ画像から導出された視覚的エンコーディングを用いることで性能が向上するか？
• RQ4 特に正確に制御できないノイズレベルの変動に対して、本手法はどのように性能を示すか？
• RQ5 インスタンスレベルの監視や手動でのデータフィルタリングに依存する既存のベースラインを、本手法が上回ることができるか？

主な発見

• WSCIは、SUN、AwA2、CUBの3つのベンチマークデータセットで、インスタンスレベルの監視を用いたベースラインを含め、すべてのベースラインを上回る最高の性能を達成した。
• SUNデータセットでは、最高品質のリtrieval設定（s(1)）下で42.26%の正確度を達成し、最も強力なベースライン（Xiao et al. [4]）の40.56%を上回った。
• より高いノイズレベル（s(201)およびs(401)）下でも、WSCIは一貫した優位性を示し、それぞれ41.79%および41.47%の正確度を達成し、すべての設定でベースラインを上回った。
• アブレーションスタディの結果、視覚的エンコーディングを削除した場合（WSCI w/o ve）に性能が低下したことが確認され、カテゴリレベル表現の向上に有効であることが示された。
• 属性が利用できない状況でも、WSCI（w/o attr）はすべてのベースラインを上回る性能を示し、無料で自動的に得られる意味的情報のみを用いても有効であることが証明された。
• 定性的な分析により、モデルが上位の非外れ（再構成確率が高い）と外れ（確率が低い）を正しく識別していることが確認され、外れ値検出能力の妥当性が裏付けられた。