[論文レビュー] WarpNet: Weakly Supervised Matching for Single-view Reconstruction

Angjoo Kanazawa, David W. Jacobs+1 more|arXiv (Cornell University)|Apr 19, 2016

Advanced Image and Video Retrieval Techniques参考文献 25被引用数 34

ひとこと要約

この論文では、部位アノテーションを必要とせず、細分類データセットにおけるカテゴリおよびポーズの変化にわたるオブジェクト同士の一致を学習する弱教師付き深層学習フレームワーク、WarpNetを提案する。セグメンテーションされたシルエットに対して例示的TPS変換から得られる人工的対応点を活用することで、空間のねじれを予測する。この空間的プリアリオリが、教師あり手法と同等の高精度な一致と単一視点再構成を可能にし、CUB-200-2011で外見のみのネットワークよりも13.6%のAP向上を達成した。

ABSTRACT

We present an approach to matching images of objects in fine-grained datasets without using part annotations, with an application to the challenging problem of weakly supervised single-view reconstruction. This is in contrast to prior works that require part annotations, since matching objects across class and pose variations is challenging with appearance features alone. We overcome this challenge through a novel deep learning architecture, WarpNet, that aligns an object in one image with a different object in another. We exploit the structure of the fine-grained dataset to create artificial data for training this network in an unsupervised-discriminative learning approach. The output of the network acts as a spatial prior that allows generalization at test time to match real images across variations in appearance, viewpoint and articulation. On the CUB-200-2011 dataset of bird categories, we improve the AP over an appearance-only network by 13.6%. We further demonstrate that our WarpNet matches, together with the structure of fine-grained datasets, allow single-view reconstructions with quality comparable to using annotated point correspondences.

研究の動機と目的

• 細分類データセットにおける外見、ポーズ、関節の変化が著しい状況下で、高価な部位アノテーションを必要とせずにオブジェクト同士の一致を達成する挑戦に応えること。
• 弱教師付きデータから空間的対応関係のプリアリオリを学習する深層学習フレームワークを開発し、実世界の画像一致に一般化可能であることを目指すこと。
• 部位キーポイントの手動アノテーションを一切使用せず、画像レベルの構造と学習された空間的プリアリオリのみを用いて、弱教師付き単一視点3D再構成を可能にすること。
• WarpNetが予測するねじれが、アノテート済み部位対応点を用いた教師あり手法とほぼ同等の再構成品質を実現できることを示すこと。

提案手法

• WarpNetは、2枚の画像を入力として受け取り、オブジェクト間の対応点を整列させるための薄板スプライン（TPS）変換を予測するシアンプルCNNアーキテクチャである。
• 人工的トレーニングデータは、CUB-200-2011などの細分類データセットのポーズグラフから得られるTPS変換を用いて作成され、既知のバウンディングボックスとセグメンテーションから得られるシルエットを対象としている。
• 点変換器レイヤー（[14]にインspired）を用いて、ソース画像と変形されたターゲット画像間の整列を最適化することで、教師なし・識別的な方法でネットワークを訓練する。
• 出力されるねじれは、推論時における外見や形状の変化に伴う一致をガイドする空間的プリアリオリとして機能する。
• 再構成のため、WarpNetの一致はポーズグラフ構造に従ってデータセット全体に伝搬され、空間的プリアリオリが使用されて、キーポイントアノテーションなしで単一画像からの3D形状を再構成する。
• 後処理として、xとy座標を固定し、z深度のみを用いるxyスナップ処理を実施し、再構成の一貫性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 部位アノテーションを一切使用せずに、深層学習モデルがカテゴリおよびポーズの変化にわたるオブジェクト同士の一致を学習できるか？
• RQ2 細分類データセット内の例示的TPS変換から生成された人工的対応点が、実画像の一致に一般化可能なネットワークを効果的に訓練できるか？
• RQ3 このようなネットワークが予測する空間的ねじれが、手動アノテーションを一切使用せずに高品質な単一視点3D再構成を可能にする強力な空間的プリアリオリとして機能できるか？
• RQ4 人工データにおける変換タイプ（例：TPS対アフィン）の選択が、学習された一致ネットワークの性能にどのように影響するか？

主な発見

• WarpNetは、CUB-200-2011データセット上で外見のみの特徴を用いたベースラインILSVRC CNNと比較して、平均精度（AP）で13.6%の向上を達成した。
• WarpNetは、アフィン変換を用いて訓練されたAffineNetバージョンおよびVGG-Mのconv4ベースラインと比較して、特に高精度閾値領域で精度と再現率の両方で優れている。
• WarpNetの一致を用いて生成された再構成は、キーポイントアノテーションを用いた教師あり手法の再構成と比較して、視覚的および定量的にもより近い品質を示しており、外見特徴のみまたは非教師ありベースライン（可変空間ピラミッド）と比較して顕著な優位性を示した。
• 例示的TPS変換を用いたデータ作成が極めて重要であることが示された。アフィン変換を用いて訓練されたAffineNetはWarpNetに劣っており、非剛性のねじれが複雑な形状変化をモデル化する上で不可欠であることが裏付けられた。
• WarpNetは、尾や翼といった関節部を一貫した深度で回復できており、VGG-MやDSPベースラインはしばしばノイズが多く、外れ値に影響を受けやすい再構成を生成していた。
• 本手法により、キーポイントアノテーションなしで、教師あり手法とほぼ同等の品質の鳥の単一視点再構成が可能であることが示され、細分類データセットにおける弱教師付き3D再構成の実現可能性を裏付けた。