[論文レビュー] Saliency Preservation in Low-Resolution Grayscale Images

Shivanthan A.C. Yohanandan, Adrian G. Dyer+2 more|arXiv (Cornell University)|Dec 6, 2017

Visual Attention and Saliency Detection参考文献 43被引用数 3

ひとこと要約

本論文では、低解像度グレースケール（LG）画像を用いて、高速かつ効率的な視覚的注目度検出を提案している。眼動-tracking実験とディープラーニング実験を通じて、注目度情報がLG画像に保持されていることを示している。完全畳み込みネットワークで訓練されたLGモデルは、高解像度カラー画像モデルと同等の精度を達成するが、学習時間が14倍以上速く、推論時間も約10倍速いため、リアルタイム応用において計算的に優れた代替手段である。

ABSTRACT

Visual salience detection originated over 500 million years ago and is one of nature's most efficient mechanisms. In contrast, many state-of-the-art computational saliency models are complex and inefficient. Most saliency models process high-resolution color (HC) images; however, insights into the evolutionary origins of visual salience detection suggest that achromatic low-resolution vision is essential to its speed and efficiency. Previous studies showed that low-resolution color and high-resolution grayscale images preserve saliency information. However, to our knowledge, no one has investigated whether saliency is preserved in low-resolution grayscale (LG) images. In this study, we explain the biological and computational motivation for LG, and show, through a range of human eye-tracking and computational modeling experiments, that saliency information is preserved in LG images. Moreover, we show that using LG images leads to significant speedups in model training and detection times and conclude by proposing LG images for fast and efficient salience detection.

研究の動機と目的

• 低解像度グレースケール（LG）画像に注目度情報が保持されているかどうかを、その計算コストが最小限であるにもかかわらず調査すること。
• 視覚的注目度の進化的起源に由来する生物学的知見と、ディープラーニングモデルにおける計算効率を結びつけること。
• 完全畳み込みネットワーク（FCN）が、LG画像と高解像度カラー（HC）画像の両方で訓練された場合の、精度と速度の観点から性能を評価すること。
• リアルタイムの注目度検出に向け、LG画像を高解像度カラー画像の計算的に効率的な代替手段として提案すること。

提案手法

• 高解像度カラー（HC）画像と低解像度グレースケール（LG）画像の間で、注視点の類似性を評価するために、人間の眼動-tracking実験を実施した。
• 20名の参加者に、200組の画像ペア（HCおよびLGバージョン）を提示し、注視点の重複度と被験者間の一貫性を分析した。
• 同じアーキテクチャとハイパーパrameterを用いて、DUT-OMRONベンチマークデータセットのHCおよびLGバージョンで完全畳み込みニューラルネットワーク（FCN）を訓練した。
• RMSProp最適化を用い、基本学習率を0.05に設定し、2000イテレーション後に10分の1に減少させ、100エポックにわたり平均二乗誤差損失を用いた。
• 標準指標（Judd-AUC、CC、SIM、NSS）を用いてモデルの性能を測定し、予測結果を正解解像度（1920×1080）にアップサンプリングした。
• NVIDIA Tesla K80 GPU上で学習時間と検出時間を記録し、HCモデルとLGモデルの間での計算効率を比較した。

実験結果

リサーチクエスチョン

• RQ1 高解像度カラー画像と比較して、低解像度グレースケール画像に注目度情報が保持されているか？
• RQ2 人間の注視パターンが、LG画像とHC画像の間で有意に相関しているか。これは知覚的類似性を示唆する。
• RQ3 LG画像で訓練された完全畳み込みネットワークが、HC画像で訓練されたものと同等の精度を達成できるか？
• RQ4 LG画像を用いることで、精度を損なわずに学習時間と推論時間に顕著な短縮が見られるか？

主な発見

• Judd-AUC、CC、SIM、NSSのすべての評価指標において、高解像度カラー（HC）モデルと低解像度グレースケール（LG）モデルの間で、統計的に有意な差は認められず、p > 0.05であった。
• 眼動-trackingの結果、HC画像とLG画像の間で注視パターンの類似度が高く、被験者間の一貫性に有意な差は認められなかった。
• LGモデルは、HCモデルの14倍以上速く学習が完了し、学習時間を元の1/14に短縮した。
• LGモデルは推論速度がほぼ10倍速く、12ミリ秒で注目度マップを生成したのに対し、HCモデルは114ミリ秒を要した。
• 結果から、注目度がLG画像にうまく保持されていることが確認され、周辺視覚、非彩色、低解像度視覚が効果的な注目度検出に十分であるという仮説が裏付けられた。
• 本研究は、精度の損失が最小限で、速度の大幅な向上が得られるため、LG画像が注目度検出において高解像度カラー画像の極めて効率的な代替手段であると結論づけた。