[論文レビュー] Spatial Pyramid Convolutional Neural Network for Social Event Detection in Static Image

Reza Fuad Rachmadi, Keiichi Uchimura+1 more|arXiv (Cornell University)|Dec 13, 2016

Advanced Image and Video Retrieval Techniques参考文献 4被引用数 6

ひとこと要約

本稿では、階層的プーリングを用いてマルチスケールの空間的文脈を捉えることで特徴表現を向上させる、空間パラメータプールリング畳み込みニューラルネットワーク（SP-CNN）を提案する。USEDデータセット上で評価した結果、EiMMおよびSEDサブセットにおいて、ベースラインモデルと比較して平均正答率がそれぞれ15%および2%高い結果を達成し、空間階層の統合による検出性能の向上を示している。

ABSTRACT

Social event detection in a static image is a very challenging problem and it's very useful for internet of things applications including automatic photo organization, ads recommender system, or image captioning. Several publications show that variety of objects, scene, and people can be very ambiguous for the system to decide the event that occurs in the image. We proposed the spatial pyramid configuration of convolutional neural network (CNN) classifier for social event detection in a static image. By applying the spatial pyramid configuration to the CNN classifier, the detail that occurs in the image can observe more accurately by the classifier. USED dataset provided by Ahmad et al. is used to evaluate our proposed method, which consists of two different image sets, EiMM, and SED dataset. As a result, the average accuracy of our system outperforms the baseline method by 15% and 2% respectively.

研究の動機と目的

• 物体、シーン、人間の相互作用が曖昧な静的画像における社会的イベント検出の課題に対処すること。
• 畳み込みニューラルネットワークにおけるマルチスケールの空間的文脈を捉えることで、特徴表現を向上させること。
• CNNアーキテクチャに空間パラメータプールリングを統合することで、イベント分類の正答率を向上させること。
• 社会的イベント検出のベンチマークデータセット（EiMMおよびSED）上で提案手法を評価すること。
• 静的画像から複雑な社会的相互作用をモデル化する際の空間階層の有効性を示すこと。

提案手法

• 提案手法は、最終畳み込み層の後に空間パラメータプールリング（SPP）層を設け、マルチスケールの空間的特徴を抽出する。
• SPP層は、最終特徴マップを複数の空間的ボックス（例：1×1、2×2、4×4）に分割し、各ボックスに対してマックスプールを適用することで、空間構造を保持する。
• 異なるパラメータプールリングレベルからのプールド特徴を連結し、全結合分類器に供給してイベント予測を行う。
• モデルは、USEDデータセット上で交差エントロピー損失と確率的勾配降下法を用いてエンドツーエンドで訓練される。
• 空間パラメータプールリングの構成により、画像内でのグローバルおよびローカルな空間的関係を捉えることが可能になる。
• 本手法は、多様な社会的イベントを含むUSEDデータセットの2つのサブセット（EiMMおよびSED）で評価される。

実験結果

リサーチクエスチョン

• RQ1 空間パラメータプールリングは、社会的イベント検出のための静的画像における空間的関係の表現を向上させることができるか？
• RQ2 標準のCNNと比較して、マルチスケールの空間的特徴を統合することで分類正答率にどのような影響を与えるか？
• RQ3 提案されたSP-CNNは、ベンチマーク社会的イベント検出データセットでベースラインモデルを上回る性能を示すか？
• RQ4 空間階層は、曖昧な社会的イベントの検出をどの程度向上させるか？
• RQ5 複雑な人間と物体の相互作用を含む多様な社会的イベントカテゴリに、モデルは一般化可能か？

主な発見

• 提案されたSP-CNNは、EiMMデータセットにおいてベースライン手法と比較して平均正答率が15%高い結果を達成した。
• SEDデータセットでは、ベースラインと比較して平均正答率が2%向上した。
• 空間パラメータプールリングの構成により、マルチスケールの空間パターンを捉えることで特徴の識別能が顕著に向上した。
• 本手法は、複数の人物と物体を含む複雑な社会的イベントの検出においても頑健な性能を示した。
• 結果から、CNNにおける空間階層が曖昧な視覚的イベント認識タスクにおける性能向上に寄与することが確認された。
• モデルの性能向上は、静的画像のイベント検出において空間的文脈の重要性を強調している。