[論文レビュー] Bowtie Networks: Generative Modeling for Joint Few-Shot Recognition and Novel-View Synthesis

Zhipeng Bao, Yu-Xiong Wang+1 more|arXiv (Cornell University)|Aug 16, 2020

Domain Adaptation and Few-Shot Learning参考文献 71被引用数 6

ひとこと要約

本論文では、任意の視点からのカテゴリラベル付き画像のみを用いて、少数ショット認識と新規ビュー合成を同時に実行するフィードバックベースの生成モデルであるbowtieネットワークを紹介する。生成モデルと識別モデルを双方向フィードバックで統合することで、特にデータが少ない状況下でも、画像合成品質と認識精度の両方を向上させ、CUB や CelebA-HQ といった細分化データセットで最先端の性能を達成する。

ABSTRACT

We propose a novel task of joint few-shot recognition and novel-view synthesis: given only one or few images of a novel object from arbitrary views with only category annotation, we aim to simultaneously learn an object classifier and generate images of that type of object from new viewpoints. While existing work copes with two or more tasks mainly by multi-task learning of shareable feature representations, we take a different perspective. We focus on the interaction and cooperation between a generative model and a discriminative model, in a way that facilitates knowledge to flow across tasks in complementary directions. To this end, we propose bowtie networks that jointly learn 3D geometric and semantic representations with a feedback loop. Experimental evaluation on challenging fine-grained recognition datasets demonstrates that our synthesized images are realistic from multiple viewpoints and significantly improve recognition performance as ways of data augmentation, especially in the low-data regime. Code and pre-trained models are released at https://github.com/zpbao/bowtie_networks.

研究の動機と目的

• カテゴリラベル付き画像のみを用いて、最小限の教師信号のもとで、少数ショットオブジェクト認識と新規ビュー合成を同時に学習する課題に対処すること。
• 生成モデルと識別モデルの間で双方向フィードバックを用いて知識を共有することで、データが少ない状況下での一般化性能を向上させること。
• 高解像度の識別モデルと低解像度の生成モデルの間の解像度の不一致を解消するための解像度蒸留法を用いること。
• 3次元幾何的および意味的表現を統合的に学習する統一フレームワークを構築し、より豊かなオブジェクト理解を実現すること。
• 合成画像が認識性能の向上に有効なデータ拡張として機能することを実証すること。

提案手法

• フレームワークは、2つの主要モジュールからなるbowtieアーキテクチャを採用している：1つは2次元画像から3次元幾何的表現を学習し、新規ビューをレンダリングするビュー合成モジュール、もう1つは実画像と合成画像を用いてオブジェクトを分類する認識モジュール。
• フィードバック接続によりモジュールが結びつけられている：生成モデルから得た合成画像が認識モデルの学習データとして使用され、一方で実画像からの意味特徴がフィードバックされ、合成モジュールの条件入力として利用される。
• 認識と合成の性能をバランスさせるためのカテゴリカル損失項を導入し、ハイパーパrameter λ_cat がそのトレードオフを制御する。
• 解像度蒸留により、高解像度の認識モデルから低解像度の合成モデルへ知識を転送することで、合成解像度を向上させることなく、画像品質を向上させる。
• 少数ショット分類にプロトタイプネットワークを用いることで、サポート画像を用いた効果的な少数ショット一般化を実現する。
• フレームワークはモジュラー構造を採っており、任意の最先端のビュー合成および認識モデルと組み合わせ可能である。

実験結果

リサーチクエスチョン

• RQ1 カテゴリラベル付き画像のみを用いて、3次元の教師信号なしに、少数ショット認識と新規ビュー合成を1つのモデルですべて実行可能か？
• RQ2 生成モデルと識別モデルがフィードバックを介してどのように協調し合い、両タスクの性能を向上させられるか？
• RQ3 統合学習設定下で、画像合成品質と認識精度の最適なトレードオフは何か？
• RQ4 解像度蒸留は、高解像度の識別と低解像度の生成の間のギャップを効果的に埋め合わせられるか？
• RQ5 合成画像をデータ拡張として用いることで、少数ショット認識性能が顕著に向上するか？

主な発見

• CUBデータセットにおいてK=1ショットの場合、提案手法のFBNetは48.39%の少数ショット認識精度を達成し、ベースラインのマルチタスクモデルを13.68ポイント上回った。
• K=5ショットの場合、72.76%の精度に達し、データが少ない状況下でも強力な一般化性能を示した。
• FIDスコア92.97およびIS2.83は、高品質で多様な画像合成を示しており、CelebA-HQでHoloGANを上回った。
• アブレーションスタディの結果、解像度蒸留やプロトタイプ分類を削除すると性能が著しく低下し、これらが重要な役割を果たしていることが確認された。
• カテゴリカル損失のハイパーパrameter λ_cat には明確なトレードオフ効果がある：値を大きくすると認識性能は向上するが、画像品質が劣化する傾向にあり、性能の最適領域が存在することが示された。
• 定性的な結果から、特にCelebA-HQのようなアライメント済みデータセットにおいて、HoloGANに比べてFBNetはより現実的で多様な画像を生成していることがわかった。