[論文レビュー] OpenSalicon: An Open Source Implementation of the Salicon Saliency Model

Christopher Thomas|arXiv (Cornell University)|Jun 1, 2016

Visual Attention and Saliency Detection参考文献 4被引用数 25

ひとこと要約

この論文では、Caffeフレームワークを用いたSALICONサリエンシー・モデルのオープンソース実装、OpenSaliconを提示している。研究者がカスタムデータセット上で学習およびテストを行うことを可能にする。事前学習済みモデルを用いて、MIT 300ベンチマークで元のモデルと同等の性能を再現しており、マルチスケール入力処理およびアップサンプリング・データ入力用のカスタムレイヤーをサポートする。

ABSTRACT

In this technical report, we present our publicly downloadable implementation of the SALICON saliency model. At the time of this writing, SALICON is one of the top performing saliency models on the MIT 300 fixation prediction dataset which evaluates how well an algorithm is able to predict where humans would look in a given image. Recently, numerous models have achieved state-of-the-art performance on this benchmark, but none of the top 5 performing models (including SALICON) are available for download. To address this issue, we have created a publicly downloadable implementation of the SALICON model. It is our hope that our model will engender further research in visual attention modeling by providing a baseline for comparison of other algorithms and a platform for extending this implementation. The model we provide supports both training and testing, enabling researchers to quickly fine-tune the model on their own dataset. We also provide a pre-trained model and code for those users who only need to generate saliency maps for images without training their own model.

研究の動機と目的

• SALICONのようなトップパフォーマンスを示すサリエンシー・モデルの公開実装が不足している問題に対処する。これらのモデルはベンチマークで優れた性能を示しているが、ダウンロード可能でない。
• 視覚的注意モデルの研究ベースラインとして機能する、完全に動作するオープンソース実装を提供する。
• 事前学習済みVGG-16重みを用いたトランスファーラーニングにより、研究者が自らのデータセットでモデルをファインチューニングできるようにする。
• 明確な設定ファイルとデータ入力・アップサンプリング用のカスタムレイヤーを備えた、トレーニングおよびインフェレンスのワークフローをサポートする。
• 単一画像勾配計算を含む、元のモデルのアーキテクチャとトレーニング手順を可能な限り正確に再現することで、再現性を確保する。

提案手法

• モデルは、同じ画像を粗いスケールと細かいスケールで処理する2つの並列VGG-16ネットワークを用いる。入力画像は、元の論文の出力寸法に一致させるために、600×800および1200×1600にリサイズされる。
• カスタム「CustomData」レイヤーにより、Pythonからのマルチスケール画像データを直接入力可能となり、Caffeのデフォルトデータレイヤーを回避し、柔軟な入力サイズ設定を可能にする。
• カスタム「custom_interpolation_layer」は、結合の前に、粗いスケールの特徴マップを細かいスケールの出力と寸法を合わせるためのバイリニア補間によってアップサンプリングする。
• 全結合層の代わりに、入力画像全体にわたる密度のあるサリエンシー予測を生成する1×1畳み込み「サリエンシー・マップ」レイヤーをネットワークに導入する。
• トレーニングは、1枚の画像ずつ処理するカスタムPythonソルバー（finetune_salicon.py）を用い、バックプロパゲーションで行う。ミニバッチ学習を避けることで、元の論文のアプローチを再現する。
• 事前学習済み重みは、共有畳み込み特徴量にImageNetで事前学習済みのVGG-16を用い、サリエンシー・マップレイヤーはガウス分布と定数バイアスでランダム初期化される。

実験結果

リサーチクエスチョン

• RQ1 SALICONサリエンシー・モデルの、再現性とさらなる研究を支援するための、オープンソースで完全に動作する実装を構築できるか？
• RQ2 MIT 300のような標準ベンチマークにおいて、オープンソース実装の性能は、元のSALICONモデルと比べてどの程度か？
• RQ3 入力スケーリングと勾配計算を含め、元のSALICONモデルの挙動を再現するために必要な主なアーキテクチャ的およびトレーニング上の選択肢は何か？
• RQ4 事前学習済みVGG-16重みを用いたトランスファーラーニングにより、新しいデータセットでどの程度ファインチューニングできるか？
• RQ5 しきい値処理などの後処理が、サリエンシー・マップの品質を顕著に向上させるか？もしそうなら、オープンソース出力にどのように適用できるか？

主な発見

• オープンソース実装は、salicon.netの元のSALICONデモが生成するものと類似した質的サリエンシー・マップを生成しており、モデルの挙動が正確に再現されていることを確認した。
• 出力寸法は、元の300×400および600×800から入力解像度を2倍にした38×50に調整されており、元の論文で記載された期待される出力サイズに一致する。
• トレーニングプロセスは、元の論文で報告されているように、ミニバッチ学習を避けるために単一画像勾配更新を用いる。これにより、性能劣化を回避する。
• 事前学習済みモデルは、MIT 300の注視点予測ベンチマークで、元のSALICONモデルと同等の性能を達成している。ただし、元のデモ出力は後処理によりよりシャープに見える。
• モデル出力に対して単純なしきい値処理を適用することで、高品質なサリエンシー・マップが得られ、元のデモの視覚的品質を再現できる。
• 実装は、テスト用、トレーニング用、ソルバ設定用の別々のprototxtファイルを備え、トレーニングおよびインフェレンスの両方を完全にモジュール化してサポートする。