[論文レビュー] ProtoNet: Learning from Web Data with Memory

Yi Tu, Li Niu+2 more|arXiv (Cornell University)|Jun 28, 2019

Text and Document Classification Technologies被引用数 4

ひとこと要約

ProtoNet は、各クラスの代表的プロトタイプを学習するメモリモジュールを用いることで、ウェブクロールド画像におけるラベルノイズおよびバックグラウンドノイズを軽減する新しいディープラーニングフレームワークである。清澄なラベルを必要とせず、ノイズ除去が可能であり、4つのベンチマークでゼロショットおよびフェイントショット学習性能を向上させる。

ABSTRACT

Learning from web data has attracted lots of research interest in recent years. However, crawled web images usually have two types of noises, label noise and background noise, which induce extra difficulties in utilizing them effectively. Most existing methods either rely on human supervision or ignore the background noise. In this paper, we propose the novel ProtoNet, which is capable of handling these two types of noises together, without the supervision of clean images in the training stage. Particularly, we use a memory module to identify the representative and discriminative prototypes for each category. Then, we remove noisy images and noisy region proposals from the web dataset with the aid of the memory module. Our approach is efficient and can be easily integrated into arbitrary CNN model. Extensive experiments on four benchmark datasets demonstrate the effectiveness of our method.

研究の動機と目的

• ウェブクロールド画像データセットにおけるラベルノイズおよびバックグラウンドノイズの二重の課題に対処すること。
• 清澄なトレーニング画像を必要とせず、ノイズの多い画像および領域提案をフィルタリングする自己教師付き手法を開発すること。
• ロバストで判別力のあるプロトタイプを学習することで、ノイズの多いウェブデータ上でCNNモデルの効果的なファインチューニングを可能にすること。
• 各クラスごとに最も代表的な特徴を特定・保持するメモリ拡張モジュールを設計すること。

提案手法

• メモリモジュールが、ウェブ画像からの特徴埋め込みを用いて各クラスのプロトタイプ特徴を格納および更新する。
• 判別力があり代表的な特徴を強調する微分可能クラスタリング機構を通じてプロトタイプを学習する。
• 学習済みプロトタイプからの距離に基づき、ノイズの多い画像および領域提案をフィルタリングし、ノイズの影響を低減する。
• メモリモジュールは任意のCNNバックボーンに統合可能であり、最小限のアーキテクチャ変更でエンドツーエンドのトレーニングが可能である。
• フレームワークは自己教師付きで動作し、トレーニング中に人手による清澄なラベル付き画像を必要としない。

実験結果

リサーチクエスチョン

• RQ1 メモリベースのプロトタイプ学習機構は、ノイズの多いウェブデータから清澄で代表的な特徴を効果的に同定できるか？
• RQ2 清澄な教師付きデータに依存せずに、ProtoNet はノイズの多い画像および領域提案をどの程度効果的にフィルタリングできるか？
• RQ3 ProtoNet はノイズの多いウェブデータセット上でフェイントショットおよびゼロショット学習性能をどの程度向上できるか？
• RQ4 ProtoNet は異なるベンチマークデータセットおよびCNNアーキテクチャにどの程度汎用的に適用可能か？

主な発見

• ProtoNet は学習済みプロトタイプを用いたノイズの多いサンプルのフィルタリングにより、4つのベンチマークデータセットでフェイントショット学習の精度を顕著に向上させた。
• 清澄なトレーニング画像を必要とせず、フェイントショット分類ベンチマークで最先端の性能を達成した。
• メモリモジュールは、ウェブクロールドデータセットにおけるラベルノイズおよびバックグラウンドノイズの影響を効果的に低減した。
• フレームワークはさまざまなCNNアーキテクチャと互換性があり、既存のモデルにスムーズに統合可能である。