[論文レビュー] A Dilated Inception Network for Visual Saliency Prediction

Sheng Yang, Guosheng Lin+2 more|arXiv (Cornell University)|Apr 7, 2019

Visual Attention and Saliency Detection参考文献 57被引用数 10

ひとこと要約

本論文は、計算量を削減しながら多スケールの文脈的特徴を効率的に捉えるために拡張畳み込みモジュール（DIM）を用いた、視覚的注目度予測向けの軽量でエンドツーエンドの拡張インセプションネットワーク（DINet）を提案する。注目度予測を線形正規化に基づく損失関数を用いた確率分布予測タスクとして定式化することで、先行手法よりも高速な推論時間を実現しながら、ベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

Recently, with the advent of deep convolutional neural networks (DCNN), the improvements in visual saliency prediction research are impressive. One possible direction to approach the next improvement is to fully characterize the multi-scale saliency-influential factors with a computationally-friendly module in DCNN architectures. In this work, we proposed an end-to-end dilated inception network (DINet) for visual saliency prediction. It captures multi-scale contextual features effectively with very limited extra parameters. Instead of utilizing parallel standard convolutions with different kernel sizes as the existing inception module, our proposed dilated inception module (DIM) uses parallel dilated convolutions with different dilation rates which can significantly reduce the computation load while enriching the diversity of receptive fields in feature maps. Moreover, the performance of our saliency model is further improved by using a set of linear normalization-based probability distribution distance metrics as loss functions. As such, we can formulate saliency prediction as a probability distribution prediction task for global saliency inference instead of a typical pixel-wise regression problem. Experimental results on several challenging saliency benchmark datasets demonstrate that our DINet with proposed loss functions can achieve state-of-the-art performance with shorter inference time.

研究の動機と目的

• 視覚的注目度予測に適した、計算効率の良いディーブラーニングアーキテクチャを構築すること。
• DCNNにおける既存の多スケール特徴抽出モジュールの計算コストを低減しつつ、性能を維持または向上させること。
• ピクセル単位の回帰ではなく、確率分布予測問題としての再定式化により、注目度予測の性能を向上させること。
• 既存のモデルと比較して、より高速な推論時間で最先端の性能を達成すること。

提案手法

• 標準的な畳み込みを置き換え、異なる拡張率を用いた並列の拡張畳み込みを用いることで、パrameter数や計算量を増加させずに受容 field を拡大する拡張インセプションモジュール（DIM）を提案する。
• エンコーダ・デコーダ構造の完全畳み込みネットワークを設計し、エンコーダでDIMを用いて階層的特徴を抽出し、デコーダで注目度マップを再構築する。
• 確率分布距離測度としての線形正規化に基づく損失関数のセットを導入し、モデルを分布予測タスクとして学習する。
• 提案された損失関数を用いてエンドツーエンド学習を実施し、グローバルな注目度推論を最適化する。
• 訓練の安定化と一般化性能の向上を図るために、従来のソフトマックス正規化に代えて損失関数に線形正則化を導入する。
• AUC、CC、EMD、平均絶対誤差（MAE）といった標準的な指標を用いて、SALICON、MIT1003、MIT300の複数のベンチマークデータセットでモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 拡張畳み込みが、インセプションモジュール内の標準的なマルチブランチ畳み込みに効果的に置き換えられ、計算量を削減しながら多スケール特徴表現を維持できるか？
• RQ2 注目度予測を確率分布予測タスクとして定式化することで、標準的な回帰やソフトマックスベースの損失関数と比較して性能が向上するか？
• RQ3 提案されたDIMと損失関数を備えた軽量でエンドツーエンドのネットワークが、最先端の性能と高速な推論を達成できるか？
• RQ4 モデルは、特に新しいデータでファインチューニングされた場合に、多様な注目度データセットに対してどのように一般化するか？

主な発見

• DINetはSALICONおよびMIT1003データセットで最先端の性能を達成し、AUC、CC、EMDの指標で既存のモデルを上回った。
• 高い精度を維持しながらも、DSCLRCN（0.27s）よりも高速な推論時間（480×640解像度で1画像あたり0.06s）を達成した。
• MIT1003でファインチューニングすることで、MIT300での性能が顕著に向上し、優れた一般化能力を示した。
• 提案された線形正規化に基づく損失関数は、標準的な回帰損失関数およびソフトマックスベースの確率損失関数と比較して、注目度予測の精度で優れた性能を示した。
• 強力な性能を発揮しているが、複数の注目オブジェクトを含むシーンでは、多スケール特徴だけでは相対的な重要度を捉えるのが難しい場合がある。
• パrameter数が少なく、推論時間も短い一方で、SAM や DSCLRCN と比較してほとんどの指標で同等または優れた性能を示した。