[論文レビュー] Simple vs complex temporal recurrences for video saliency prediction

Panagiotis Linardos, Eva Mohedano+4 more|arXiv (Cornell University)|Jul 3, 2019

Visual Attention and Saliency Detection参考文献 26被引用数 26

ひとこと要約

本稿では、動画の注目度予測のための2つの時系列再帰メカニズム—ConvLSTMと単純な指数移動平均（EMA）—を提案し、軽量なEMAがより複雑なConvLSTMと同等の最先端性能を達成することを示している。EMA手法は、内部特徴を1つの学習可能なパラメータで時系列にわたって平滑化するもので、DHF1KおよびHollywood-2においてConvLSTMを上回るか同等の性能を発揮しており、注目度モデリングには複雑なRNNが必ずしも必要でないことを示唆している。

ABSTRACT

This paper investigates modifying an existing neural network architecture for static saliency prediction using two types of recurrences that integrate information from the temporal domain. The first modification is the addition of a ConvLSTM within the architecture, while the second is a conceptually simple exponential moving average of an internal convolutional state. We use weights pre-trained on the SALICON dataset and fine-tune our model on DHF1K. Our results show that both modifications achieve state-of-the-art results and produce similar saliency maps. Source code is available at https://git.io/fjPiB.

研究の動機と目的

• シンプルな時系列再帰メカニズムが、動画の注目度予測において複雑なRNNを模倣または上回ることを調査すること。
• 深層ニューラルネットワーク内での軽量な指数移動平均（EMA）を時系列再帰メカニズムとして効果的に活用できるかを評価すること。
• 動画の注目度における時系列ダイナミクスをモデリングするには、ConvLSTMのような複雑なアーキテクチャが必ずしも必要であるという仮定に疑問を呈すること。
• このタスクにおけるEMAとConvLSTMの機能的類似性および性能差に、実証的かつアブレーションベースの証拠を提供すること。
• 性能向上以上の意味で、モデルの挙動をよりよく理解できるように、単純で解釈可能な関数をアブレーションスタディに活用することを提唱すること。

提案手法

• スパatiotemporalな依存関係を捉えるために、事前学習済みの静的注目度モデルにConvLSTM層を追加する。
• 指数移動平均（EMA）を再帰的に入力畳み込み特徴を更新する手法として、新規に応用する：$ E_t = \alpha S_t + (1 - \alpha) E_{t-1} $、ここで$ S_t $は現在の特徴マップ、$ \alpha $は学習可能なまたは固定されたハイパーパrameterである。
• SALICONから得た事前学習済み重みを用いて、DHF1Kデータセットで微調整することで汎化性能を向上させる。
• 学習可能な$ \alpha $パラメータを用いてEMAモデルを訓練し、凸結合を保証するためシグモイド関数で制約を加える：$ \alpha = \sigma(p) $、ここで$ p $は学習可能なパラメータである。
• DHF1KおよびHollywood-2の検証セットで、標準指標（NSS、CC、AUC-J、s-AUC、SIM）を用いて両モデルを比較する。
• 性能差が著しい動画サンプルに対して定性的分析を行い、失敗モードやアノテーションバイアスの影響を理解する。

実験結果

リサーチクエスチョン

• RQ1 単純な指数移動平均（EMA）再帰が、動画の注目度予測においてConvLSTMと同等の性能を達成できるか？
• RQ2 EMAとConvLSTMが生成する注目度マップは、多様な動画コンテンツにおいて空間的・時間的整合性の観点でどのように異なるか？
• RQ3 EMAメカニズムはConvLSTMと同一の関数を近似しているのか、それとも根本的に異なる時系列統合戦略を学習しているのか？
• RQ4 EMAモデルはスムージングパラメータ$ \alpha $の選択に対してどれほど感受的か？エンドツーエンドで$ \alpha $を学習させることで性能が向上するか？
• RQ5 アノテーションバイアス（例：中心集中型のガウス分布）が、EMAとConvLSTMの相対的性能にどの程度影響を及えるか？

主な発見

• EMAベースのモデル（SalEMA）は、DHF1K検証セットにおいて最先端の性能を達成し、NSS = 2.495、AUC-J = 0.886を記録しており、ConvLSTMベースラインと同等またはわずかに上回っている。
• SalEMAの性能はハイパーパrameter $ \alpha $に対して頑健であり、$ \alpha \in \{0.05, 0.1, 0.2, 0.3\} $ の範囲で最小限の性能低下が見られた。
• 学習可能な$ \alpha $を採用した場合、モデルは$ \alpha \approx 0.1477 $に収束し、最良の固定$ \alpha $設定と同等の性能を達成した。
• 定性的分析から、SalEMAは一部の動画で顔などの注目オブジェクトをよりよく捉えているのに対し、SalCLSTMは特に中心にガウス分布のアノテーションがある動画では中心に注目が偏る傾向にあることが明らかになった。
• Hollywood-2データセット（短いまたは1フレームのクリップを含む）では、SalCLSTMがSalEMAを約4 NSSポイント上回っており、EMAが急激なまたは一時的な注目イベントに対応しにくい可能性があることが示唆された。
• 全体的な性能は類似しているものの、一部のケースでは2つのモデルが著しく異なる注目度マップを生成しており、EMAとConvLSTMが学習する関数が同等ではないことが示された。