[論文レビュー] SMILER: Saliency Model Implementation Library for Experimental Research

Calden Wloka, Toni Kunić+5 more|arXiv (Cornell University)|Dec 20, 2018

Visual Attention and Saliency Detection参考文献 42被引用数 7

ひとこと要約

SMILER は、多様なプラットフォーム上で計算視覚的注目度モデルの実装と実行を簡素化するオープンソースで標準化されたソフトウェアライブラリです。統一インターフェース、コンテナ化されたディープラーニングモデル、一貫したパrameter管理を提供することで、SMILER はセットアップ作業を軽減し、再現性を確保するとともに、23 つの既存の注目度モデル（MATLAB および GPU で加速された実装を含む）を研究ワークフローにシームレスに統合できるようにします。

ABSTRACT

The Saliency Model Implementation Library for Experimental Research (SMILER) is a new software package which provides an open, standardized, and extensible framework for maintaining and executing computational saliency models. This work drastically reduces the human effort required to apply saliency algorithms to new tasks and datasets, while also ensuring consistency and procedural correctness for results and conclusions produced by different parties. At its launch SMILER already includes twenty three saliency models (fourteen models based in MATLAB and nine supported through containerization), and the open design of SMILER encourages this number to grow with future contributions from the community. The project may be downloaded and contributed to through its GitHub page: https://github.com/tsotsoslab/smiler

研究の動機と目的

• 注目度モデルの実装に標準化が欠如していることにより、研究間で一貫性のない結果や再現性の問題が生じるのを是正すること。
• 特に色空間処理、パrameter設定、ソフトウェア依存関係に関する設定・デプロイの手作業とエラーのリスクを低減すること。
• 統一インターフェースと標準化された実行パイプラインを提供することで、注目度モデルの一貫性・再現性・比較可能性のある評価を実現すること。
• Docker/nvidia-docker を用いたコンテナ化により、従来の MATLAB ベースのモデルと最新のディープラーニングモデルを統合し、異なる GPU ライブラリや環境との互換性を確保すること。
• 新規の注目度モデルをフレームワークに統合するための再利用可能なテンプレートと貢献ガイドラインを提供することで、コミュニティ主導の開発を促進すること。

提案手法

• モデル固有の設定や実行を抽象化する統一されたソフトウェアインターフェースを実装し、基盤となる実装にかかわらず、多様な注目度モデルを一貫して呼び出せるようにすること。
• MATLAB ベースのモデル用の機能ラッパーと、コンテナ化されたモデル用の CLI 実行を提供することで、一貫した入出力処理とパrameter指定を可能にすること。
• Docker および nvidia-docker を用いて、ディープラーニングモデルとその正確なソフトウェア依存関係をカプセル化し、競合するライブラリバージョンからの分離を図り、GPU で加速された実行を可能にすること。
• 色空間変換（例：RGB から CIELAB または YUV への変換など）を含む画像前処理を標準化し、デフォルト動作を定義するとともに、設定ファイルを通じてユーザーが上書き可能にするようにすること。
• Python で重要なサポート関数を再実装し、プラットフォーム間の相互運用性を維持するとともに、自動ユニットテストにより MATLAB 版との機能同等性を保証すること。
• JSON 形式の設定ファイルを用いてモデル固有のパrameter を管理し、階層的な上書きシステムを導入することで、実験ごとに個別にデフォルト値をカスタマイズ可能にする。

実験結果

リサーチクエスチョン

• RQ1 同じモデルが異なる設定や実装により異なるランク付けやスコアを出力するため、研究間で注目度モデルの評価に一貫性が欠ける状況を、どのようにして軽減できるか？
• RQ2 標準化されたソフトウェアフレームワークは、異なる研究チームやプラットフォーム間での注目度モデルのデプロイと比較に伴うセットアップ負荷とエラー率を、どの程度まで低減できるか？
• RQ3 コンテナ化は、Caffe と TensorFlow のようなディープラーニングライブラリ間の依存関係の衝突を効果的に解消できるか？ また、GPU で加速されたディープラーニングベースの注目度モデルの実行を可能にするか？
• RQ4 統一インターフェースは、レガシーモデル（MATLAB ベース）と最新の GPU 依存のディープラーニングモデルを、1 つの拡張可能なフレームワーク内でどのように統合できるか？
• RQ5 標準化され、コミュニティがメンテナンスするライブラリが、計算視覚的注目度研究における再現性と共同作業に及ぼす影響は何か？

主な発見

• SMILER は、異なるシステムや設定においても、23 つの注目度モデル（14 つの MATLAB ベース、9 つのコンテナ化されたディープラーニングモデルを含む）の一貫した実行を可能にしました。
• Docker および nvidia-docker を用いたコンテナ化により、ライブラリの不適合問題が解消され、同じシステム上で oSALICON（Caffe）や DeepGaze II（TensorFlow）といったモデルの GPU で加速された実行が可能になりました。
• 入力処理とパrameter 設定の標準化により、従来の研究で一貫性のない結果を引き起こしていた誤った色空間の使用といった設定エラーのリスクが低減されました。
• ライブラリの設定システムは階層的なパrameter 上書きをサポートしており、ユーザーがモデルごとや実験ごとに設定（例：color_space）をカスタマイズしつつ、デフォルト動作を維持できます。
• ユニットテストにより、Python で再実装したサポート関数と元の MATLAB 版との機能同等性が保証され、実装のずれのリスクが低減されました。
• SMILER のオープンで拡張可能な設計は、コミュニティの貢献を促進しており、提供されたテンプレートにより、新規モデルの統合に最小限の作業で対応できます。