[論文レビュー] Simulating Content Consistent Vehicle Datasets with Attribute Descent

Yue Yao, Liang Zheng+3 more|arXiv (Cornell University)|Dec 18, 2019

Advanced Neural Network Applications参考文献 43被引用数 32

ひとこと要約

本論文は、Unity で生成された大規模な合成車両データセット VehicleX と、合成データが実データとより近づくように制御可能な内容属性を最適化する属性下降法を導入します。このアプローチは、学習済みの合成データのみ、あるいは実データと組み合わせて使用した場合の車両再識別（re-ID）性能を向上させます。

ABSTRACT

This paper uses a graphic engine to simulate a large amount of training data with free annotations. Between synthetic and real data, there is a two-level domain gap, i.e., content level and appearance level. While the latter has been widely studied, we focus on reducing the content gap in attributes like illumination and viewpoint. To reduce the problem complexity, we choose a smaller and more controllable application, vehicle re-identification (re-ID). We introduce a large-scale synthetic dataset VehicleX. Created in Unity, it contains 1,362 vehicles of various 3D models with fully editable attributes. We propose an attribute descent approach to let VehicleX approximate the attributes in real-world datasets. Specifically, we manipulate each attribute in VehicleX, aiming to minimize the discrepancy between VehicleX and real data in terms of the Fréchet Inception Distance (FID). This attribute descent algorithm allows content domain adaptation (DA) orthogonal to existing appearance DA methods. We mix the optimized VehicleX data with real-world vehicle re-ID datasets, and observe consistent improvement. With the augmented datasets, we report competitive accuracy. We make the dataset, engine and our codes available at https://github.com/yorkeyao/VehicleX.

研究の動機と目的

• 車両再識別タスクのために、合成画像と実画像の内容レベルの領域間ギャップを縮小する動機づけ。
• 制御可能な属性を備えた、巨大で編集可能な合成車両データセット（VehicleX）を作成。
• 合成データと実データの分布距離（FID）を最小化する属性下降アルゴリズムを開発。
• 内容適合性のある合成データが、単独でも実データと組合わせても、再識別精度を向上させることを実証。
• アプローチの再現と拡張のためのオープンソースツール（データセット、エンジン、コード）を提供。

提案手法

• 車両属性（姿勢・向き、光の方向、光強度、カメラの高さ、カメラとの距離）を、内容分布を表すガウス分布またはガウス混合モデルを用いてモデル化する。
• Python 制御付きの Unity ベースのエンジンを用いて合成画像をレンダリングし、再識別用のラベリングデータを作成。
• Fréchet Inception Distance（FID）を用いて合成データと実データ間の分布のずれを測定。
• 属性平均を、座標降下法のような属性下降アルゴリズムで最適化し、FID を最小化するよう属性を反復。
• 合成データのみと実データとの結合学習という二つの学習 regime を実施し、二段階の学習プロトコルを含む。
• VehicleID、VeRi-776、CityFlow データセットで標準的な re-ID 指標（mAP、Rank-1）を用いて評価。

実験結果

リサーチクエスチョン

• RQ1 微分不可レンダラを介した内容レベルの属性最適化により、合成車両画像と実車両画像間の内容ギャップを縮小できるか？
• RQ2 属性下降によって学習された合成データは、単独使用または実データと併用時に車両再識別性能を向上させるか？
• RQ3 個々の内容属性が、異なるデータセットにおける分布整合性と再識別精度にどのように寄与するか？
• RQ4 合成＋実データの前学習と実データの微調整という二段階学習プロトコルは、連携学習のために有益か？
• RQ5 内容属性間の依存構造が、FID と再識別性能に及ぼす影響の観点でどのようになるか？

主な発見

• 属性下降は、合成 VehicleX データと実データ間のFIDを低減しつつ、再識別の mAP および Rank-1 精度を向上させる。
• 姿勢（Orientation）が分布整合性と性能への影響で最大であり、次いで照明およびカメラ属性。
• 学習された合成データは、複数のデータセットでランダム属性より再識別精度が高い。
• 合成前処理学習を行い、その後実データ微調整を行う二段階学習は、VehicleID、VeRi-776、CityFlow の各データセットで大きな性能向上をもたらす。
• スタイルドメイン適応（SPGAN）は、合成データを用いた横断ドメインの再識別で性能を著しく向上させる。