[論文レビュー] Visual saliency estimation by integrating features using multiple kernel learning

Yasin Kavak, Erkut Erdem+1 more|arXiv (Cornell University)|Jul 22, 2013

Visual Attention and Saliency Detection参考文献 46被引用数 8

ひとこと要約

本稿では、低レベルの視覚的特徴とObjectBankフィルタバンクから得られる高レベルのオブジェクト固有特徴を統合する、複数カーネル学習（MKL）に基づく視覚的注目度推定フレームワークを提案する。MKLを用いた特徴の適応的組み合わせと、多数のオブジェクト検出器からのセマンティック応答を組み込むことで、MIT1003およびTorontoデータセットにおいてSVMおよびAdaBoostベースのモデルを上回る最先端の性能を達成し、AUCスコアはそれぞれ最大0.841および0.836を記録した。

ABSTRACT

In the last few decades, significant achievements have been attained in predicting where humans look at images through different computational models. However, how to determine contributions of different visual features to overall saliency still remains an open problem. To overcome this issue, a recent class of models formulates saliency estimation as a supervised learning problem and accordingly apply machine learning techniques. In this paper, we also address this challenging problem and propose to use multiple kernel learning (MKL) to combine information coming from different feature dimensions and to perform integration at an intermediate level. Besides, we suggest to use responses of a recently proposed filterbank of object detectors, known as Object-Bank, as additional semantic high-level features. Here we show that our MKL-based framework together with the proposed object-specific features provide state-of-the-art performance as compared to SVM or AdaBoost-based saliency models.

研究の動機と目的

• 多様な視覚的特徴が全体の注目度予測に与える寄与度を最適化するという未解決問題に取り組むこと。
• 複数カーネル学習（MKL）を用いて特徴マップの非線形的かつ適応的な統合を実現することで、注目度モデルにおける特徴統合を向上させること。
• 大規模かつオブジェクト固有のフィルタバンク（ObjectBank）を高レベルの意味的特徴として用いることで、トップダウン的注意の調節をモデル化すること。
• 全特徴セットとオブジェクトレベル特徴のみを用いたMKLベースの統合の有効性を評価し、既存の学習ベースのモデルと比較すること。

提案手法

• 注目度推定を、真値の眼動作品データをラベルとして用いる教師あり学習問題として定式化する。
• 特に正則化ブロックMKL（RBMKL）を用いたMKLのバリエーションを採用し、中間統合レベルでの特徴マップの最適な非線形的組み合わせを学習する。
• 低レベルの視覚的特徴（明るさ、色、方向性）は、ガウシアン差分によるセンター・サブトラクション差分を用いて複数スケールで抽出する。
• 高レベルの意味的特徴は、100種類以上のオブジェクトカテゴリの検出器応答を提供するObjectBankフィルタバンクから得る。
• MKLフレームワークは、異なる特徴タイプに対応するカーネル行列の重み付き組み合わせを学習し、単純な線形和を超えた柔軟な統合を可能にする。
• 構造的SVMアプローチを用いてモデルを学習し、ピクセル単位の注目度ラベルに対する分類精度を最適化する。

実験結果

リサーチクエスチョン

• RQ1 線形手法と比較して、非線形的かつ適応的な多様な視覚的特徴の統合を可能にする複数カーネル学習（MKL）は、注目度予測性能の向上に寄与するか？
• RQ2 大規模フィルタバンク（ObjectBank）から得られるオブジェクト固有特徴は、特に単独で使用された場合に、注目度推定の向上にどの程度有効であるか？
• RQ3 提案されたMKLベースのフレームワークは、SVMやAdaBoostといった従来の学習ベースのモデルを上回る性能を示すか？
• RQ4 高レベルのオブジェクト応答は注目度予測にどの程度寄与するか？また、古典的なボトムアップモデルと同等の性能を達成できるか？
• RQ5 MKLの統合戦略は、早期統合や後期統合と比較して、特徴の依存関係のモデル化と予測精度の両面で優れているか？

主な発見

• RBMKLベースのモデルは、MIT1003データセットでAUCスコア0.841を達成し、SVM（0.821）、AdaBoost（0.808）、NLMKL（0.821）を含むすべてのベースライン手法を上回った。
• Torontoデータセットでは、RBMKLモデルが全特徴を用いてAUC 0.836を達成し、次に優れた手法（SVM：0.821）を上回り、オブジェクトレベル特徴のみを用いたモデルを著しく上回った。
• オブジェクト固有特徴のみを用いても、RBMKLモデルはTorontoデータセットでAUC 0.736を達成し、古典的なIttiらのボトムアップモデル（AUC 0.741）と同等の性能を示した。
• MIT1003データセットでは、オブジェクトレベル特徴のみを用いた場合にAUC 0.752を達成し、オブジェクト固有の手がかりが注目度予測に非常に有用であることを示した。
• 繰り返し実験における性能の標準偏差が低く、線形手法に比べてより優れた一般化性能とロバストネスを示した。
• 全特徴を用いたRBMKLによる視覚的注目度予測は、特に物体周辺の注目領域の局在化が向上しており、図3および図4の定性的比較で確認された。