[論文レビュー] Salient Object Subitizing

Jianming Zhang, Shugao Ma+7 more|arXiv (Cornell University)|Jul 26, 2016

Visual Attention and Saliency Detection被引用数 8

ひとこと要約

本稿では、局所化を伴わずに統合的視覚特徴を用いて画像内の顕著なオブジェクト数（1〜4個またはそれ以上）を予測する、Salient Object Subitizing (SOS) と呼ばれる新しいタスクを紹介する。本研究では、新たに収集した14K枚の画像から構成されるSOSデータセットを用いて、CNNベースのモデルを訓練した。その結果、0個および1個のオブジェクトに対して人間水準の正確性を達成し、複数オブジェクトにおいてはランダムな予測をはるかに上回る性能を示した。さらに、合成データを用いた事前学習により性能が向上した。

ABSTRACT

We study the problem of Salient Object Subitizing, i.e. predicting the existence and the number of salient objects in an image using holistic cues. This task is inspired by the ability of people to quickly and accurately identify the number of items within the subitizing range (1-4). To this end, we present a salient object subitizing image dataset of about 14K everyday images which are annotated using an online crowdsourcing marketplace. We show that using an end-to-end trained Convolutional Neural Network (CNN) model, we achieve prediction accuracy comparable to human performance in identifying images with zero or one salient object. For images with multiple salient objects, our model also provides significantly better than chance performance without requiring any localization process. Moreover, we propose a method to improve the training of the CNN subitizing model by leveraging synthetic images. In experiments, we demonstrate the accuracy and generalizability of our CNN subitizing model and its applications in salient object detection and image retrieval.

研究の動機と目的

• 人間の小数の数の即時認識（subitizing）能力にインspiredされ、1〜4個の顕著なオブジェクト数を、局所化を伴わない統合的画像分類タスクとしてSOSを定式化・研究すること。
• 日常的な画像約14K枚を収集し、クラウドソーシングを用いて顕著なオブジェクト数（1、2、3、4+）をアノテートした、大規模かつ多様なデータセットを収集・公開すること。
• オブジェクトの局所化を一切行わず、グローバル画像特徴のみを用いて、顕著なオブジェクトの存在と数を予測するエンドツーエンドのCNNモデルを開発すること。
• とくに3個というレアなカウントに対して、合成データ増強によりモデルの汎化性能と性能を向上させること。
• 顕著なオブジェクト検出やコンテンツベースの画像検索といった下流タスクにおけるSOSの有効性を示すこと。

提案手法

• 14K枚の画像データセットを、Amazon Mechanical Turkを用いたクラウドソーシングによる顕著なオブジェクト数（1、2、3、4+）のアノテーションにより収集する。
• SOSを、0、1、2、3、4+の顕著なオブジェクトを含む4クラスの多クラス画像分類問題として定式化する。
• 実際のSOSデータセット上でエンドツーエンドの畳み込みニューラルネットワーク（CNN）を学習させ、グローバル画像特徴から顕著なオブジェクト数を予測する。
• セグメンテーション済みのオブジェクトと背景画像を組み合わせることで、20K枚の合成画像を生成し、CNNの事前学習に使用する。
• 合成データでの事前学習後に、実データでのファインチューニングによりモデルの汎化性能を向上させ、特に2、3、4+個のオブジェクト数の予測性能を向上させる。
• 訓練済みのSOSモデルを、顕著なオブジェクト検出および画像検索パイプラインにプラグインとして適用し、従来のタグベース手法の置き換えや強化を図る。

実験結果

リサーチクエスチョン

• RQ1 深層CNNモデルは、オブジェクトの局所化を一切行わず、グローバル画像特徴のみを用いて、画像内の顕著なオブジェクト数（1〜4）を人間水準の性能で予測できるか？
• RQ2 トレーニング中に合成データを含めることで、特に3個というレアなカウントに対して、SOSモデルの汎化性能と正確性はどのように向上するか？
• RQ3 SOSモデルは、ベースライン手法と比較して、顕著なオブジェクト検出およびコンテンツベースの画像検索タスクの性能をどの程度向上できるか？
• RQ4 CNNは、特定のオブジェクトの識別に依存するのではなく、サブタイジングに特徴的な汎用的でクラスに依存しない視覚パターンを学習しているか？
• RQ5 従来のテキストベースの方法が特定のオブジェクトタイプ（例：人間）にバイアスをもつ場合に、SOSモデルは数のオブジェクトクエリを効果的に処理できるか？

主な発見

• CNNベースのSOSモデルは、0個または1個の顕著なオブジェクトを含む画像を識別する際、人間の性能と同等の正確性を達成した。
• 複数の顕著なオブジェクトを含む画像に対しては、オブジェクトの局所化を必要とせず、ランダムな予測をはるかに上回る性能を示した。
• 20K枚の合成画像での事前学習により、2、3、4+個の顕著なオブジェクトを検出する際の平均適合率（AP）が2%以上絶対的に向上し、特に3個のオブジェクトではAPが6%絶対的に上昇した。
• 未学習のオブジェクトカテゴリに対しても強い汎化性能を示しており、学習された特徴が特定のオブジェクトクラスに特化したものではなく、汎用的であることが示された。
• 画像検索において、SOSベースの手法はベースラインおよびテキストベースの手法を上回った。特に複数のオブジェクトを含むクエリでは、カテゴリに依存しない性質のおかげで優れた性能を発揮した。
• SOSモデルは、顕著なオブジェクト検出の最先端手法を改善し、顕著なオブジェクト数に関する事前知識を提供することで、より良いウィンドウ候補生成を可能にした。