[論文レビュー] Procedural Image Programs for Representation Learning

Manel Baradad, Chun-Fu Chen+5 more|arXiv (Cornell University)|Nov 29, 2022

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

本論文は、実画像を一切使用せずに高性能な表現学習を可能にする、OpenGLフラグメント言語で記述された21,000件の手順的画像生成シェーダーから構成される大規模データセットを提案する。これらの多様で高速レンダリング可能なプログラムを用いてニューラルネットワークを訓練することで、教師ありおよび自己教師あり表現学習の両面で最先端の性能を達成し、実画像による事前学習との精度差を38%縮小した。

ABSTRACT

Learning image representations using synthetic data allows training neural networks without some of the concerns associated with real images, such as privacy and bias. Existing work focuses on a handful of curated generative processes which require expert knowledge to design, making it hard to scale up. To overcome this, we propose training with a large dataset of twenty-one thousand programs, each one generating a diverse set of synthetic images. These programs are short code snippets, which are easy to modify and fast to execute using OpenGL. The proposed dataset can be used for both supervised and unsupervised representation learning, and reduces the gap between pre-training with real and procedurally generated images by 38%.

研究の動機と目的

• 既存の合成データ手法が少数の選別済み、エキスパートが設計した生成プロセスに依存するという限界を解決すること。
• 手順的画像プログラムの数を拡大することで、表現学習性能が顕著に向上するかを検証すること。
• 短い実行可能コードスニペットを用いて多様な合成画像を生成するスケーラブルで高スルーレートなフレームワークを開発すること。
• 下流の表現品質を最大化するための効果的な手順的画像プログラムの特徴を同定すること。
• 手順的データが、特に分布外設定において実画像による事前学習と競合可能な性能を達成できることを示すこと。

提案手法

• 21,000件の短いOpenGLフラグメントシェーダープログラムを収集し、それぞれが単純な形状やテクスチャを有する多様な合成画像を生成する。
• 高スルーレートGPUレンダリング（秒間数100フレーム以上）を活用し、トレーニング中にリアルタイムで画像を生成することで、効率的なデータパイプライン統合を実現する。
• 生成された画像を用いて、教師ありおよび自己教師あり表現学習（例：SimCLR、線形プローブ）の両方でニューラルネットワークを訓練する。
• 各ユニークなシェーダーを教師あり学習における離散的潜在クラスとして活用し、生成パrameterの任意のクラスタリングを回避する。
• 画像レベルの統計量（例：LPIPS、圧縮、FID）に基づいて、未学習のシェーダーの下流性能を推定する軽量予測モデルを訓練する。
• 予測モデルを用いて、下流評価のためのデータ効率的な方法で、性能の高いシェーダーをグリーディに選択する。

実験結果

リサーチクエスチョン

• RQ1 手順的画像プログラムの数が下流の表現学習性能にどのように影響するか？
• RQ2 エキスパートが設計した生成プロセスに依存する既存の合成データ手法よりも、大規模でキュレーションなしの手順的シェーダーのデータセットが優れた性能を発揮できるか？
• RQ3 画像レベルの特性（例：多様性、自己類似性、色の変動）のうち、手順的画像生成における高い下流性能と相関するものは何か？
• RQ4 学習済みの予測モデルは、完全なトレーニングを経ずに性能の高いシェーダーを効果的に同定できるか？
• RQ5 性能の高いシェーダーと低いシェーダーの視覚的特徴（構造やテクスチャの観点）には、どのような相違があるか？

主な発見

• 下流の性能は、手順的画像プログラムの数に対して対数的に上昇する傾向を示しており、より大きなプログラムセットでさらなる向上が見込まれる。
• 本研究で提案するShaders-21kデータセットを用いたResNet-50の線形分類では、ImageNet-1kでトップ1正解率36%を達成し、最も優れた先行手法（Shaders-1k）を10ポイント上回った。
• MixUpを用いることで、実画像による事前学習（Places365）と手順的生成画像との間の性能差が38%縮小された。
• 自己類似性が高め（LPIPSによる画像内自己類似性で測定）なシェーダーは、性能が低い傾向にあり、画像の多様性が表現品質の主要因であることが示唆された。
• FIDとgzip圧縮の両面において強いパレートフロンティアが存在する：性能の高いシェーダーは、FIDと圧縮率の両方を同時に低くすることはできない。
• 学習済みの性能予測モデルに基づくグリーディなシェーダー選択は、ランダム選択を大きく上回り、上位で予測されたシェーダーを用いることで36%のトップ1正解率を達成した。