[論文レビュー] Image Resizing by Reconstruction from Deep Features

Moab Arar, Dov Danon+2 more|arXiv (Cornell University)|Apr 17, 2019

Visual Attention and Saliency Detection参考文献 31被引用数 5

ひとこと要約

本論文は、事前に訓練された畳み込みニューラルネットワーク（CNN）からの深層特徴を用いてピクセル空間ではなく特徴空間でリサイズを行う、新しい画像リターゲティング手法であるDeep Network Resizing（DNR）を提案する。高レベルの意味的特徴からの画像再構成を最適化することにより、DNRは視覚的アーティファクトを低減し、重要なオブジェクトをよりよく保持する。ベンチマークデータセットにおいて、従来手法に比べて意味的保持性と視覚的品質の両面で優れた性能を発揮する。

ABSTRACT

Traditional image resizing methods usually work in pixel space and use various saliency measures. The challenge is to adjust the image shape while trying to preserve important content. In this paper we perform image resizing in feature space where the deep layers of a neural network contain rich important semantic information. We directly adjust the image feature maps, extracted from a pre-trained classification network, and reconstruct the resized image using a neural-network based optimization. This novel approach leverages the hierarchical encoding of the network, and in particular, the high-level discriminative power of its deeper layers, that recognizes semantic objects and regions and allows maintaining their aspect ratio. Our use of reconstruction from deep features diminishes the artifacts introduced by image-space resizing operators. We evaluate our method on benchmarks, compare to alternative approaches, and demonstrate its strength on challenging images.

研究の動機と目的

• 低レベルの注目度測定に依存する従来の画像リサイズ手法の限界を解消し、視覚的アーティファクトを低減すること。
• 深層ニューラルネットワークの高レベル意味的情報を活用して、より正確なコンテンツに依存するリサイズを実現すること。
• ピクセルの直接操作ではなく、最適化された深層特徴からの再構成によって、リサイズ画像の視覚的アーティファクトを低減すること。
• 事前に訓練されたCNNからの階層的特徴表現を活用して、画像リターゲティング中の意味的保持性を向上させること。

提案手法

• 本手法は、事前に訓練されたVGG-19ネットワークの深層畳み込み層（例：block5_conv1）の特徴マップに対して、シームカービングのリサイズ操作を直接適用する。
• 再構成損失を最小化しつつ意味的構造を保持するバックプロパゲーションベースの最適化により、最終的なリサイズ済み画像を再構成する。
• 微分可能グリッドサンプラー層を用いたリファインメントステップにより、ピクセルレベルのマッピングを最適化し、さらにアーティファクトを低減する。
• 画像領域の重要度は、深層特徴の活性化の大きさから推定され、これが意味的重要度マップとして機能する。
• 特徴活性化レベルに応じて、適応的しきい値を用いてシームカービングとワープの複数の演算子を切り替える。
• 最適化はエンドツーエンドで実行され、ネットワークが深層特徴からの自然な見た目の画像再構成を学習できる。

実験結果

リサーチクエスチョン

• RQ1 事前に訓練されたCNNからの深層特徴は、従来の低レベルの注目度測定に比べて、より正確な意味的重要度マップを提供できるか？
• RQ2 ピクセル空間ではなく特徴空間で画像リサイズを実行することで、意味的コンテンツの保持が向上するか？
• RQ3 深層特徴からの最適化ベースの再構成は、標準的なリサイズ演算子に比べて視覚的アーティファクトを低減できるか？
• RQ4 意味的ガイダンスと再構成の統合は、既存手法に比べて画像リターゲティング品質をどのように向上させるか？

主な発見

• DNRはRetargetMeベンチマークで平均70%の意味的スコアを達成し、手動クロッピングや線形スケーリングを含むすべての比較手法を上回った。
• ユーザーの好み調査では、最良の代替手法と比較して889枚中4.7%（42枚）でDNRが選ばれ、1枚あたりの最良結果と比較して956票中3.9%（37票）で選ばれた。
• 図1の自転車画像のような複雑なシーンでは、再構成品質の向上と滑らかな遷移が確認され、視覚的アーティファクトが顕著に低減された。
• DNRは、意味的保持性に優れ、RetargetMeデータセットで平均70%の意味的スコアを記録し、深層特徴空間における重要な特徴の強固な保持を示した。
• 一方で、計算コストが高く、1枚の640×480画像に対して最大2分を要するため、リアルタイム応用には制限がある。
• VGG-19ネットワークが重要な意味的領域（例：ポートレートにおける手）を正しく検出できない場合、出力に歪みが生じるという限界が観察された。