[論文レビュー] Weakly- and Self-Supervised Learning for Content-Aware Deep Image Retargeting

Donghyeon Cho, Jinsun Park+3 more|arXiv (Cornell University)|Aug 9, 2017

Visual Attention and Saliency Detection参考文献 43被引用数 10

ひとこと要約

本論文は、画像レベルのアノテーションを用いた弱教師ありおよび自己教師ありのディープラーニング手法を提案し、コンテンツに配慮した画像リターゲティングを実現する。1次元の重複畳み込みと累積正規化により生成されるシフトマップを用いて、顕著なコンテンツを保持するとともに歪みを最小限に抑える。エンドツーエンドの学習が可能であり、ピクセルレベルの監督は不要で、最先端の結果を達成している。

ABSTRACT

This paper proposes a weakly- and self-supervised deep convolutional neural network (WSSDCNN) for content-aware image retargeting. Our network takes a source image and a target aspect ratio, and then directly outputs a retargeted image. Retargeting is performed through a shift map, which is a pixel-wise mapping from the source to the target grid. Our method implicitly learns an attention map, which leads to a content-aware shift map for image retargeting. As a result, discriminative parts in an image are preserved, while background regions are adjusted seamlessly. In the training phase, pairs of an image and its image-level annotation are used to compute content and structure losses. We demonstrate the effectiveness of our proposed method for a retargeting application with insightful analyses.

研究の動機と目的

• アスペクト比を調整する際、重要な画像コンテンツを保持するコンテンツに配慮した画像リターゲティング手法の開発。
• ピクセルレベルのアノテーションの高コストを低減するため、監督に画像レベルのアノテーションのみを用いる。
• 入力画像とターゲットのアスペクト比から、1回のフォワードパスで直接リターゲティング画像を生成するためのディープネットワークのエンドツーエンド学習を可能にする。
• 構造損失と特化されたネットワーク層を用いて、歪みやゆらぎ（wobbling）などの視覚的アーティファクトを最小限に抑える。
• 特に複雑なコンテンツや顕著なオブジェクトのない画像においても、一般化性とロバスト性を向上させる。

提案手法

• 本手法は、画像レベルのアノテーションから、暗黙的なセマンティック注目マップを深層エンコーダ・デコーダネットワークを用いて学習する。
• シフト層は、1次元の重複畳み込みと累積正規化を用いて、各ソースピクセルをターゲットグリッドにマッピングし、コンテンツに配慮したシフトマップを生成する。
• リターゲティングされた画像における画像レベルのアノテーションを用いて、コンテンツ損失を計算し、セマンティックコンテンツの保持を図る。
• 入力画像に構造損失を適用し、歪みやゆらぎ（wobbling）などの視覚的アーティファクトを抑制する。
• 画像レベルのラベルによる弱教師ありと、構造損失による自己教師ありを組み合わせ、エンドツーエンドでネットワークを学習する。
• 入力画像とターゲットのアスペクト比から、1回のフォワードパスでリターゲティング画像を直接生成する。

実験結果

リサーチクエスチョン

• RQ1 ディープニューラルネットワークは、ピクセルレベルのラベルの代わりに画像レベルのアノテーションのみを用いて、コンテンツに配慮した画像リターゲティングを学習できるか？
• RQ2 暗黙的な注目学習に基づくシフトマップは、リターゲティング中に顕著なコンテンツをどれほど効果的に保持できるか？
• RQ3 構造損失と1次元の重複畳み込みは、ゆらぎや歪みなどの視覚的アーティファクトをどれほど効果的に低減できるか？
• RQ4 シームカービングやクロッピングといった従来のリターゲティング手法と比較して、視覚的品質とセマンティックの保持の観点で本手法はどの程度優れているか？
• RQ5 本手法は、元の画像と比較して、リターゲティング画像の分類精度をどの程度維持できるか？

主な発見

• ユーザースタディーにおいて、7つの比較手法の中で最も高いユーザーランキングを獲得し、最も多くの票を獲得した。
• 0.3から0.7の全スケール比において、リターゲティング画像のmAP比が、ベースライン手法（センタークロップ、エッジクロップ、シームカービング）と比較して顕著に高い水準を維持した。
• 画像サイズが小さくなるに従っても、mAP比の低下が遅く、主要なコンテンツの保持が優れていることが示された。
• 構造損失と1次元の重複畳み込み層のおかげで、ゆらぎや歪みなどの視覚的アーティファクトが効果的に低減された。
• 顕著なオブジェクトのない画像に対しても、テクスチャ領域の反応を活用して、良好な一般化性能を示した。
• ピクセルレベルのラベルデータセットが不要な画像レベルのアノテーションのみを用いたエンドツーエンド学習が有効であることが実証された。