[論文レビュー] SalGAN: Visual Saliency Prediction with Generative Adversarial Networks

Junting Pan, Cristian Canton-­Ferrer+5 more|arXiv (Cornell University)|Jan 4, 2017

Visual Attention and Saliency Detection参考文献 23被引用数 336

ひとこと要約

SalGAN は adversarial (GAN) 損失と BCE 内容損失を組み合わせて視覚的サリエンシー マップを予測し、MIT300 と SALICON の複数の指標で最先端の結果を達成します。

ABSTRACT

We introduce SalGAN, a deep convolutional neural network for visual saliency prediction trained with adversarial examples. The first stage of the network consists of a generator model whose weights are learned by back-propagation computed from a binary cross entropy (BCE) loss over downsampled versions of the saliency maps. The resulting prediction is processed by a discriminator network trained to solve a binary classification task between the saliency maps generated by the generative stage and the ground truth ones. Our experiments show how adversarial training allows reaching state-of-the-art performance across different metrics when combined with a widely-used loss function like BCE. Our results can be reproduced with the source code and trained models available at https://imatge-upc.github.io/saliency-salgan-2017/.

研究の動機と目的

• データ駆動の損失で複数のサリエンシー指標と整合するよう、単一指標を最適化するのではなくサリエンシー予測を動機付ける。
• サリエンシー マップ予測のためのエンコーダ-デコーダ生成ネットワーク（SalGAN）を提案する。
• 予測されたサリエンシー マップとグラウンドトゥルースを区別するためのディスクリームを組み込み、対抗訓練を推進する。
• 対抗訓練がいくつかのサリエンシー指標で性能を改善することを示す。
• 訓練中にサリエンシー マップをダウンサンプリングすることで、精度を犠牲にすることなく計算量を削減する。

提案手法

• SalGAN（エンコーダ-デコーダ生成器）は、最後の 2 つの畳み込みブロックまで VGG-16 から初期化し、入力解像度でサリエンシー マップを生成する対称的なデコーダを備える。
• ディスクリームは画像+サリエンシーのペアを処理し、実データのサリエンシー マップと生成サリエンシー マップを識別する。
• 内容損失は主にピクセルごとのサリエンシー確率（ピクセルごとにシグモイド出力）に対する BCE。
• 対抗損失は BCE を、偽装ディスクリームを欺くように促す生成器損失項と組み合わせ、L(D(I, Ŝ), 1) を用いる。
• 対抗訓練を導入する前に、BCE のみの事前訓練（≈15 エポック）を開始し、その後生成器とディスクリームの更新を交互に行う。
• 訓練中にサリエンシー マップを（例：256x192 を 64x48）ダウンサンプリングして、計算を削減しつつ性能を維持する。

実験結果

リサーチクエスチョン

• RQ1 対抗訓練は従来のピクセル単位損失を超える視覚サリエンシー予測を改善できるか。
• RQ2 訓練中のサリエンシー マップのダウンサンプリングが予測精度と計算効率に与える影響は？
• RQ3 SalGAN は複数のサリエンシー評価指標で、最先端手法と比較してどうか。
• RQ4 BCE 内容損失と対抗損失を組み合わせると、BCE 単独より安定して良好な収束を得られるか。

主な発見

指標	SALICON (検証) BCE	SALICON (検証) BCE/4	SALICON (検証) GAN/4	MIT300 (テスト)	注記
sAUC	0.752	0.755	0.773	-	-
AUC-B	0.825	0.831	0.859	-	-
NSS	2.473	2.511	2.560	-	-
CC	0.761	0.763	0.786	-	-
IG	0.712	0.825	1.243	-	-
sAUC	0.750	0.755	0.773	-	-
AUC-B	0.820	0.831	0.859	-	-
NSS	2.527	2.511	2.560	-	-
CC	0.764	0.763	0.786	-	-
IG	0.592	0.825	1.243	-	-
sAUC	0.754	0.757	0.773	-	-
AUC-B	0.827	0.833	0.859	-	-
NSS	2.503	2.580	2.560	-	-
CC	0.762	0.772	0.786	-	-
IG	0.831	1.067	1.243	-	-
sAUC	-	-	-	0.86	-
AUC-J	-	-	-	0.86	-
AUC-B	-	-	-	0.81	-
NSS	-	-	-	2.04	-
KL	-	-	-	1.07	-
Notes	SALICON テスト結果の参照	ダウンサンプル BCE 対 GAN バリアント	MIT300 結果の参照	すべての指標が示された場合; MIT300 ベンチマークでは KL が報告される

• 対抗訓練は SALICON 検証および MIT300 ベンチマークで、BCE のみと比較して複数のサリエンシー指標を改善した。
• 訓練中にサリエンシー マップを 1/4 にダウンサンプリングしても性能低下はなく、指標を改善できる場合がある。
• BCE 内容損失は強力な初期化となり対抗訓練を安定させる；BCE+GAN 損失はほとんどの指標で全体的な性能を向上させる。
• SalGAN は SALICON テストと MIT300 において、いくつかの指標で最近の最先端手法に対して競合するか優れる結果を示す。
• 定性的な結果として、SalGAN は BCE のみのモデルには捉えられない顕著な領域を予測し、サリエンシー マップを滑らかに生成する。
• NSS は実験の全てで一貫して改善には至らなかった唯一の指標である。