[論文レビュー] Towards Automatic Construction of Diverse, High-quality Image Dataset

Yazhou Yao, Jian Zhang+5 more|arXiv (Cornell University)|Aug 22, 2017

Advanced Image and Video Retrieval Techniques参考文献 43被引用数 3

ひとこと要約

本稿では、複数のテキストクエリとマルチビュー・マルチインスタンス学習を用いてノイズの多い画像やクエリをフィルタリングすることで、多様で高品質な画像データセットを自動的に構築する、ウェブベースの自動フレームワークを提案する。従来の弱教師ありおよびウェブスーパvised手法と比較して、画像分類、クロスデータセット一般化、オブジェクト検出の各タスクで優れた性能を発揮し、公開された100カテゴリのデータセット（WSID-100）を提供している。

ABSTRACT

The availability of labeled image datasets has been shown critical for high-level image understanding, which continuously drives the progress of feature designing and models developing. However, constructing labeled image datasets is laborious and monotonous. To eliminate manual annotation, in this work, we propose a novel image dataset construction framework by employing multiple textual queries. We aim at collecting diverse and accurate images for given queries from the Web. Specifically, we formulate noisy textual queries removing and noisy images filtering as a multi-view and multi-instance learning problem separately. Our proposed approach not only improves the accuracy but also enhances the diversity of the selected images. To verify the effectiveness of our proposed approach, we construct an image dataset with 100 categories. The experiments show significant performance gains by using the generated data of our approach on several tasks, such as image classification, cross-dataset generalization, and object detection. The proposed method also consistently outperforms existing weakly supervised and web-supervised approaches.

研究の動機と目的

• 手作業によるデータセット構築の限界に対処する。これは人的労力が多く、スケーリングが遅い。
• 画像検索エンジンを用いたウェブベースの画像データセット作成におけるスケーラビリティ、正確性、多様性の課題を克服する。
• 複数のテキストクエリを活用することで、手作業のアノテーションに依存するのを減らし、画像収集の多様性と品質を向上させる。
• クラス間およびクラス内ノイズ画像を同時にフィルタリングしながら、データセットの多様性を保持する統合フレームワークを開発する。
• コンピュータビジョン分野における弱教師ありおよびウェブスーパvised学習アルゴリズムの評価を目的としたベンチマークデータセット（WSID-100）を構築する。

提案手法

• 各カテゴリに対して複数のテキストクエリを用いることで、画像収集のスケーラビリティと多様性を向上させ、データセットバイアスを低減する。
• 線形計画法を用いて、クラス間およびクラス内ノイズ画像を同時にフィルタリングするマルチビュー・マルチインスタンス学習（MIL）定式化を適用する。
• 意味的に豊富で関連性の高いクエリを特定し、視覚的に顕著でないか、関係のないクエリを削除することで、ノイズの多いテキストクエリを分類・フィルタリングする。
• 画像ノイズを3種類に分類する——クラス間ノイズ、クラス内ノイズ、クエリ固有ノイズ——それぞれに適したフィルタリング戦略を適用する。
• バッグ（クラスタ）内での視覚的クラスタリングとインスタンスレベル分類を活用し、画像の再ランク付けとノイズ抑制を向上させる。
• 最適なリcallと精度を達成するためのキーとなるパラメータ（例：$S_i$, $ abla$）のチューニングに3-fold交差検証を用いる。

実験結果

リサーチクエスチョン

• RQ1 単一クエリ手法と比較して、複数のテキストクエリを用いることで、自動収集された画像データセットの多様性とスケーラビリティが顕著に向上するか？
• RQ2 クラス間およびクラス内ノイズ画像を同時にフィルタリングしながらデータセットの多様性を保持するという点で、統合的マルチビュー・マルチインスタンス学習アプローチの有効性はいかほどか？
• RQ3 提案フレームワークは、画像分類やオブジェクト検出などの下流タスクにおいて、既存の弱教師ありおよびウェブスーパvised手法をどの程度上回るか？
• RQ4 特にノイズフィルタリングおよびクエリ選択段階において、ハイパーパrameterの変動に対してフレームワークはどの程度頑健か？
• RQ5 得られたデータセット（WSID-100）は、コンピュータビジョン分野における弱教師あり学習アルゴリズムの評価に信頼できるベンチマークとして機能できるか？

主な発見

• 提案フレームワークは、手作業ラベル付きデータセットおよびウェブスーパvisedベースラインと比較して、画像分類の精度とクロスデータセット一般化性能を顕著に向上させた。
• 本手法を用いて構築されたWSID-100データセットは、VOC 2007データセットでの事前学習に用いられると、オブジェクト検出タスクで最先端の性能を達成した。
• $ abla = 10^0$ の場合、クラス間ノイズフィルタリングの平均精度が98.2%に達し、高いロバスト性と有効性を示した。
• パrameter $S_i = 0.6$ を選択することで、高いリcall（0.6）と妥当な精度を達成し、画像選択におけるカバレッジと品質のバランスを保った。
• パラメータの変動に対してデータセットは頑健であり、$ abla$ の広い範囲においてもフィルタリング精度が96%以上を維持した。
• 段階的なフィルタリングアプローチで一般的に生じる多様性の損失を回避するため、多様性と正確性を同時に最適化する点で、反復的手法を上回った。