[論文レビュー] Learning from Web Data with Memory Module

Yi Tu, Li Niu+3 more|arXiv (Cornell University)|Jun 28, 2019

Image Retrieval and Classification Techniques被引用数 2

ひとこと要約

本稿では、クリーンな監視なしに、ウェブクロールド画像におけるラベルノイズとバックグラウンドノイズの両方を同時に扱うメモリ拡張型マルチインスタンス学習フレームワークを提案する。領域提案（ROIs）をバッグにグループ化し、クラスタの識別性に基づいて動的重みを割り当てる学習可能なメモリモジュールを用いることで、エンドツーエンドの学習が可能となり、4つのベンチマークデータセットにおいて既存手法を上回る性能を達成する。

ABSTRACT

Learning from web data has attracted lots of research interest in recent years. However, crawled web images usually have two types of noises, label noise and background noise, which induce extra difficulties in utilizing them effectively. Most existing methods either rely on human supervision or ignore the background noise. In this paper, we propose a novel method, which is capable of handling these two types of noises together, without the supervision of clean images in the training stage. Particularly, we formulate our method under the framework of multi-instance learning by grouping ROIs (i.e., images and their region proposals) from the same category into bags. ROIs in each bag are assigned with different weights based on the representative/discriminative scores of their nearest clusters, in which the clusters and their scores are obtained via our designed memory module. Our memory module could be naturally integrated with the classification module, leading to an end-to-end trainable system. Extensive experiments on four benchmark datasets demonstrate the effectiveness of our method.

研究の動機と目的

• ウェブクロールド画像におけるラベルノイズとバックグラウンドノイズの二重の課題に取り組み、効果的な自己教師あり学習を阻害する要因を解消すること。
• 訓練中に人間によるクリーンな画像のアノテーションを必要としない手法を開発すること。
• 分類ヘッドとメモリモジュールを統合することで、エンドツーエンド学習を可能にすること。
• 代表的な領域の重み付けを通じて、ノイジーなウェブデータにおけるモデルのロバスト性と精度を向上させること。

提案手法

• 本手法は、同じカテゴリに属する画像とその領域提案（ROIs）をマルチインスタンス学習の枠組みに従ってバッグにグループ化する。
• メモリモジュールはROIsの代表的クラスタを学習し、各ROIにその近隣クラスタの識別性スコアに基づいた重みを割り当てる。
• メモリモジュールは微分可能であり、分類モジュールと同時に最適化可能で、エンドツーエンド最適化を可能にする。
• キーバリューメモリメカニズムを用いて、特徴表現を格納・取得することで、トレーニング中にクラスタスコアを動的に更新する。
• ROIsは、スコアの高いクラスタに近いほど重み付けされ、より代表的で識別性の高い領域が強調される。
• 本フレームワークは、クリーンな画像の監視を一切必要とせず、ノイジーなウェブデータにのみ依存してエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり手法は、クリーンな監視なしに、ウェブクロールド画像におけるラベルノイズとバックグラウンドノイズの両方を効果的に処理できるか？
• RQ2 ノイジーなウェブ画像環境下で、代表的で識別性の高いROIsを自動的に特定し、重み付けする方法は何か？
• RQ3 メモリモジュールをマルチインスタンス学習フレームワークに効果的に統合することで、ロバスト性と性能を向上させられるか？
• RQ4 クラスタの識別性に基づく動的ROIs重み付けが、分類精度に与える影響は何か？

主な発見

• 提案手法は、クリーンな監視なしにノイジーなウェブデータで訓練されているにもかかわらず、4つのベンチマークデータセットで最先端の性能を達成した。
• メモリモジュールにより、トレーニング中により代表的で識別性の高いROIsに注目することで、モデルのロバスト性が顕著に向上した。
• エンドツーエンドで学習可能なアーキテクチャにより、多様なウェブ画像データセットで一貫した性能向上が得られた。
• アブレーションスタディの結果、ラベルノイズとバックグラウンドノイズの両方の処理が、全体の性能向上に寄与していることが確認された。