[論文レビュー] Deep Manifold Traversal: Changing Labels with Convolutional Features

Jacob R. Gardner, Paul Upchurch+5 more|arXiv (Cornell University)|Nov 19, 2015

Generative Adversarial Networks and Image Synthesis参考文献 27被引用数 63

ひとこと要約

本稿では、深層畳み込みニューラルネットワーク特徴量とカーネルMaximum Mean Discrepancy (MMD)を用いて自然画像の多様体を走査することで、セマンティックに画像ラベルを変更する一般化手法であるDeep Manifold Traversalを提案する。この手法により、手動アノテーションやタスク固有の設計を必要とせず、顔の老化、季節の変化、昼から夜への変換といった多様なタスクにおけるデータ駆動型で教師なしの画像変換が可能になる。

ABSTRACT

Many tasks in computer vision can be cast as a "label changing" problem, where the goal is to make a semantic change to the appearance of an image or some subject in an image in order to alter the class membership. Although successful task-specific methods have been developed for some label changing applications, to date no general purpose method exists. Motivated by this we propose deep manifold traversal, a method that addresses the problem in its most general form: it first approximates the manifold of natural images then morphs a test image along a traversal path away from a source class and towards a target class while staying near the manifold throughout. The resulting algorithm is surprisingly effective and versatile. It is completely data driven, requiring only an example set of images from the desired source and target domains. We demonstrate deep manifold traversal on highly diverse label changing tasks: changing an individual's appearance (age and hair color), changing the season of an outdoor image, and transforming a city skyline towards nighttime.

研究の動機と目的

• コンピュータビジョンにおけるラベル変更タスクに一般化可能な手法が存在しない現状を是正すること。特に、タスク固有の事前知識やアノテーションに依存しないこと。
• 自然画像の低次元多様体に制約を設けることで、意味的に整合性のある画像変換を実現すること。
• 多様な応用分野に適応可能なスケーラブルなデータ駆動型アプローチを構築すること。このアプローチは、ラベル付きのソース画像セットとターゲット画像セットのみを必要とする。
• 顔の老化、季節の変化、都市景観の変換といった、顕著に異なるタスク間で本手法の汎用性を実証すること。
• 本手法が、コンピュータビジョン分野におけるデータ拡張やアクティブラーニングのためのベースラインまたは前処理ツールとしての可能性を検討すること。

提案手法

• まず、事前学習済みの畳み込みニューラルネットワーク（例：VGG）を用いて、ソース画像、ターゲット画像、テスト画像をすべて深層特徴空間にマッピングする。
• 深層特徴空間において、ソース画像特徴量とターゲット画像特徴量の分布差をカーネルMaximum Mean Discrepancy (MMD)を用いて推定する。
• テスト画像をソース分布から遠ざけ、ターゲット分布に近づけるように、多様体に近い位置に保ちつつ特徴空間内でパスを計算する。
• パスは特徴空間内で線形であり、MMDのガイダンスにより多様体に近接するように制約されるため、中間の画像が現実的になる。
• 特徴空間上のパスの各点に対して、深層特徴量からの逆画像再構成を用いてピクセル空間に再マッピングする。
• 本手法は空間的・時間的に線形であり、大規模な画像（例：900×600ピクセル）の処理が効率的に行える。処理速度は主にメモリ制約に依存する。

実験結果

リサーチクエスチョン

• RQ1 タスク固有の事前知識やアノテーションに依存せず、1つの一般化可能な手法が多様なラベル変更タスクを実行できるか？
• RQ2 深層特徴空間が自然画像の多様体を十分に線形化できており、意味的なラベル変更に適した画像走査を可能にしているか？
• RQ3 MMDガイダンス付きの走査が、画像の現実性を保ちつつ、意味的クラス所属をシフトさせるのにどの程度効果的か？
• RQ4 本手法は高解像度画像や複雑な視覚的変換にどの程度スケーラブルか？
• RQ5 本手法は、教師ありビジョンタスクにおけるデータ拡張のための実用的ベースラインまたは前処理ツールとして機能できるか？

主な発見

• 本手法は、顔の老化、屋外風景の季節変化、都市景観の昼から夜への変換といった多様なドメインでラベル変更タスクを成功裏に実行した。
• 900×600ピクセルの画像において、多様体走査に132分、再構成に43分を要した。これは、通常の生成モデルの限界を超えてスケーラブルであることを示している。
• 対応点やスクリッチ、手動アノテーションを一切必要とせず、ラベル付きのソース画像セットとターゲット画像セットのみで現実的な結果を得られた。
• LFWデータセット（250×250ピクセル）では、2000枚のソース画像と2000枚のターゲット画像を用いて18分で走査が完了し、画像サイズに比例する線形時間計算量であることが示された。
• 夜間変換において空が青いまま保たれたことから、高レベル特徴量では背景要因（例：空）が十分に表現されていない可能性が示唆された。これは、オブジェクト認識の学習目的に起因する可能性がある。
• 複数のラベル変更タスクにおいて、汎用的画像モーフィングベースラインを上回る性能を示した。これは、本手法の優れた一般化能力と有効性を示している。